Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat
- Description
- Curriculum
- FAQ
- Notice
- Reviews
Tại sao bạn nên tham gia khóa học này?
Bạn muốn làm chủ kỹ thuật xử lý sự kiện và dữ liệu lớn trong hệ thống của mình? Khóa học “Data Processing with Logstash (and Filebeat)” được thiết kế đặc biệt dành cho bạn – những ai muốn hiểu rõ các khía cạnh trong ngăn xếp ELK (Elasticsearch, Logstash, Kibana) và Beats.
Logstash, được phát triển bởi Elastic, là công cụ để thu thập, xử lý, và chuyển hóa dữ liệu một cách linh hoạt. Đặc biệt, khi kết hợp với Filebeat, bạn sẽ có trong tay giải pháp để thu thập và chuyển hóa nhật ký một cách nhanh chóng và hiệu quả.
Đặc điểm nổi bật của khóa học Logstash
– Nội dung chính xác, tập trung: Khóa học này đào sâu vào Logstash thay vì bao quát cả Elastic Stack, giúp bạn hiểu rõ và sử dụng Logstash một cách tối ưu.
– Hữu ích cho người mới bắt đầu: Bạn không cần kinh nghiệm trước với Logstash. Chúng tôi sẽ hướng dẫn bạn qua từ những khái niệm cơ bản đến các đề tài nâng cao.
– Học qua dự án thực tế: Bạn sẽ xây dựng một đường ống xử lý nhật ký Apache đầy đủ, bao gồm nhật ký truy cập và nhật ký lỗi.
– Tập trung vào kỹ năng thực tế: Sau khi hoàn thành khóa học, bạn sẽ hiểu rõ các khía cạnh quan trọng nhất của Logstash và biết cách xây dựng các đường ống xử lý dữ liệu phức tạp.
—
Chương trình học
Phần 1: Getting Started
– Khái quát về Logstash và vai trò trong Elastic Stack.
Phần 2: Basics of Logstash
– Tìm hiểu cách cấu hình pipeline.
– Cách thu thập, chuyển hóa và gửi dữ liệu đến Elasticsearch.
Phần 3: Project Apache
– Xây dựng đường ống xử lý nhật ký Apache.
– Xử lý các tình huống thực tế.
Phần 4: Collecting Logs with Filebeat
– Tích hợp Filebeat để thu thập nhật ký.
– Xây dựng luồng dữ liệu giữa Filebeat và Logstash.
Phần 5: Conclusion
– Tổng kết kiến thức.
– Định hướng ứng dụng thực tiễn và bước tiếp theo trong hành trình làm chủ Elastic Stack.
—
Ai nên tham gia khóa học này?
– Nhà phát triển phần mềm: Những người muốn học cách triển khai Logstash để xử lý dữ liệu và sự kiện trong ứng dụng của mình.
– Quản trị viên hệ thống: Những người muốn thu thập và phân tích nhật ký hệ thống một cách hiệu quả.
– Chuyên gia dữ liệu: Những người cần xử lý và làm giàu dữ liệu trước khi phân tích.
– Người mới bắt đầu với Elastic Stack: Ai cũng có thể tham gia, ngay cả khi bạn chưa từng làm việc với Elastic Stack trước đây.
Lợi ích của khóa học:
1. Hiểu rõ các khái niệm cơ bản của Logstash.
2. Xây dựng đường ống xử lý và thao tác hàng nghìn sự kiện.
3. Kết nối Logstash với nhiều nguồn dữ liệu và nhiều đích.
4. Triển khai đường ống xử lý nhật ký máy chủ web Apache một cách đầy đủ.
5. Xử lý các sự kiện Filebeat bằng Logstash.
Hãy bắt đầu hành trình làm chủ Logstash ngay hôm nay! Hẹn gặp bạn trong khóa học.
-
5Bài 4: Xử lý sự kiện(event) đầu tiên với Logstash11m 6s
-
6Bài 5: Xử lý dữ liệu JSON trong Logstash5m 3s
-
7Bài 6: Xuất sự kiện(event) từ Logstash ra file4m 17s
-
8Bài 7: Làm việc với dữ liệu HTTP trong Logstash7m 33s
-
9Bài 8: Lọc sự kiện hiệu quả với Logstash5m 45s
-
10Bài 9: Các tùy chọn lọc phổ biến trong Logstash3m 10s
-
11Bài 10: Hiểu mô hình thực thi của Logstash7m 39s
-
12Bài 11: Tổng kết: Hiểu rõ Logstash và ứng dụng trong Elastic Stack51s
-
13Bài 12: Giới thiệu phần học về xử lý và cấu hình LogstashPreview 1m 32s
-
14Bài 13: Tự động tải lại cấu hình và xử lý dữ liệu từ file với Logstash10m 54s
-
15Bài 14: Tài liệu Grok: Khai thác mẫu dữ liệu(pattern data) trong Logstash13m 2s
-
16Bài 15: Hoàn thiện mẫu(pattern) Grok để phân tích dữ liệu9m 10s
-
17Bài 16: Truy cập và xử lý giá trị các trường trong sự kiện Logstash4m 31s
-
18Bài 17: Định dạng ngày tháng trong Logstash2m 26s
-
19Bài 18: Đặt thời gian cho sự kiện trong Logstash5m 8s
-
20Bài 19: Giới thiệu câu lệnh điều kiện trong Logstash3m 29s
-
21Bài 20: Làm việc với các câu lệnh điều kiện trong Logstash10m 11s
-
22Bài 21: Làm giàu dữ liệu địa lý trong Logstash4m 17s
-
23Bài 22: Phân tích dữ liệu User Agent trong Logstash3m 30s
-
24Bài 23: Hoàn thiện pipeline xử lý dữ liệu Logstash7m 59s
-
25Bài 24: Gửi sự kiện đã xử lý đến Elasticsearch9m 38s
-
26Bài 25: Xử lý sự kiện nhiều dòng với Logstash16m 41s
-
27Bài 26: Cách đơn giản để xử lý sự kiện nhiều dòng5m 20s
-
28Bài 27: Phân tích stack trace bằng Grok trong Logstash6m 23s
-
29Bài 28: Sử dụng @metadata để quản lý dữ liệu trong Logstash5m 12s
-
30Bài 29: Quản lý và chạy nhiều pipeline trong Logstash12m 33s
-
31Bài 30: Giới thiệu về Beats trong Elastic StackPreview 4m 46s
-
32Bài 31: Project xử lý log hoàn chỉnh với Filebeat và Logstash1m 51s
-
33Bài 32: Hướng dẫn cài đặt Filebeat trong hệ thống2m 35s
-
34Bài 33: Cấu hình Filebeat để gửi dữ liệu đến Logstash2m 46s
-
35Bài 34: Kích hoạt module Apache trong Filebeat5m 45s
-
36Bài 35: Chuẩn bị pipeline Logstash đơn giản4m 9s
-
37Bài 36: Khởi chạy Filebeat và xử lý log hệ thống5m 44s
-
38Bài 37: Thêm mẫu chỉ mục Elasticsearch cho dữ liệu log11m 33s
-
39Bài 38: Cài đặt và sử dụng Dashboards Kibana4m 53s
-
40Bài 39: Hoàn thiện pipeline Filebeat-Logstash-Elasticsearch21m 22s
-
41Bài 40: Cách hoạt động của Filebeat trong Elastic Stack12m 20s
-
42Bài 41: Xóa và làm mới registry trong Filebeat7m 4s
-
43Bài 42: Xử lý thêm các log truy cập Apache3m 59s
-
44Bài 43: Cấu hình nguồn dữ liệu thủ công trong Filebeat10m 6s
-
45Bài 44: Đánh giá và sử dụng các module Filebeat2m 50s
-
46Bài 45: Gắn thẻ sự kiện trong Filebeat để phân loại dữ liệu3m
-
47Bài 46: Phương pháp xử lý nhiều loại log trong Filebeat6m 16s
-
48Bài 47: Xử lý lỗi Apache với Filebeat và Logstash14m 13s
-
49Bài 48: Xử lý log nhiều dòng: Phương pháp 19m 25s
-
50Bài 49: Tùy chọn nâng cao cho log nhiều dòng3m 13s
-
51Bài 50: Xử lý log nhiều dòng: Phương pháp 27m 16s
-
52Bài 51: Tổng kết: Hoàn thiện hệ thống Filebeat và Logstash2m 18s
- Quản trị hệ thống & DevOps muốn quản lý và xử lý log tập trung.
Lập trình viên & kỹ sư phần mềm cần thu thập, phân tích và trực quan hóa dữ liệu log từ nhiều nguồn khác nhau.
- Chuyên gia bảo mật & phân tích dữ liệu muốn sử dụng Logstash và Filebeat để thu thập và xử lý dữ liệu log phục vụ cho giám sát hệ thống.
- Người đang sử dụng hoặc có ý định triển khai Elasticsearch trong hệ thống của mình.
- Kiến thức cơ bản về hệ điều hành Linux hoặc Windows: Biết cách thao tác với terminal hoặc command line.
- Hiểu biết sơ lược về log & hệ thống giám sát: Không bắt buộc, nhưng sẽ giúp bạn tiếp cận nhanh hơn.
- Có kiến thức về Elasticsearch là một lợi thế: Nếu bạn chưa biết về Elasticsearch, khóa học sẽ hướng dẫn tổng quan để bạn bắt kịp.
- Tổng quan về ELK Stack: Hiểu về Elasticsearch, Logstash, Kibana và Filebeat.
- Cách thu thập log bằng Filebeat: Cấu hình Filebeat để gửi log từ nhiều nguồn khác nhau.
- Xử lý log bằng Logstash: Viết pipeline xử lý log, chuyển đổi, lọc và gửi dữ liệu đến Elasticsearch.
- Cách tối ưu hiệu suất trong quá trình xử lý dữ liệu: Tránh lỗi quá tải và xử lý log hiệu quả.
- Kết nối với các hệ thống khác nhau: Lấy log từ ứng dụng, container, hệ thống, hoặc gửi log đến nhiều nguồn đích.
- Trực quan hóa dữ liệu với Kibana: Xây dựng dashboard để giám sát log theo thời gian thực.
- Thu thập và xử lý log từ nhiều nguồn khác nhau với Filebeat và Logstash.
- Xây dựng pipeline xử lý dữ liệu log hiệu quả, giảm thiểu lỗi và tối ưu hệ thống.
- Kết nối hệ thống logging với Elasticsearch để lưu trữ và truy vấn dữ liệu log.
- Trực quan hóa log bằng Kibana để giám sát hệ thống theo thời gian thực.
- Giải quyết các vấn đề thực tế liên quan đến log như lọc dữ liệu, chuẩn hóa và gửi dữ liệu log đến nhiều nơi.
- Máy tính cá nhân có quyền cài đặt phần mềm.
- Kết nối internet ổn định nếu tham gia học online.
- Một môi trường lab (máy ảo hoặc server test) để thực hành với Logstash, Filebeat và Elasticsearch
Thông báo quan trọng về khóa học
Chào mừng bạn!
Chào mừng bạn đến với khóa học "Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat"! Đây là khóa học chuyên sâu giúp bạn làm chủ Logstash để xử dữ liệu một cách hiệu quả và chuyên nghiệp. Hãy dành ít phút đọc các thông báo quan trọng bên dưới để có trải nghiệm học tập tốt nhất.
Lịch trình cập nhật & Hỗ trợ học viên
- Các bài giảng sẽ được cập nhật định kỳ để đảm bảo nội dung luôn mới nhất.
- Nếu có câu hỏi hoặc gặp vấn đề trong quá trình học, hãy tham gia group hỗ trợ trên Facebook/Zalo/Discord để trao đổi với bộ phận CSKH.
- Email hỗ trợ: learnopsviet@gmail.com
Yêu cầu kỹ thuật
- Bạn nên sử dụng trình duyệt Chrome hoặc Firefox,.v.v.. để có trải nghiệm học tập tốt nhất.
- Đảm bảo máy tính của bạn có thể chạy Kibana, Elasticsearch và Logstash. Nếu gặp lỗi cài đặt, hãy xem hướng dẫn trong khóa học hoặc liên hệ hỗ trợ.
Ưu đãi đặc biệt & Khuyến mãi
- Học viên của khóa học này có thể nhận mã giảm giá 20% khi đăng ký khóa học tiếp theo.
- Nếu hoàn thành khóa học và để lại đánh giá, bạn sẽ nhận được tài liệu bổ sung miễn phí!
Lưu ý về bài tập và chứng nhận hoàn thành
- Một số bài giảng có bài tập thực hành – bạn nên làm để hiểu sâu hơn về Kibana.
- Sau khi hoàn thành khóa học, bạn có thể tải chứng nhận hoàn thành trực tiếp từ nền tảng.
Chúc bạn học tập hiệu quả và sớm làm chủ Logstash!
