Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat
- Description
- Curriculum
- FAQ
- Notice
- Reviews
Tại sao bạn nên tham gia khóa học này?
Bạn muốn làm chủ kỹ thuật xử lý sự kiện và dữ liệu lớn trong hệ thống của mình? Khóa học “Data Processing with Logstash (and Filebeat)” được thiết kế đặc biệt dành cho bạn – những ai muốn hiểu rõ các khía cạnh trong ngăn xếp ELK (Elasticsearch, Logstash, Kibana) và Beats.
Logstash, được phát triển bởi Elastic, là công cụ để thu thập, xử lý, và chuyển hóa dữ liệu một cách linh hoạt. Đặc biệt, khi kết hợp với Filebeat, bạn sẽ có trong tay giải pháp để thu thập và chuyển hóa nhật ký một cách nhanh chóng và hiệu quả.
Đặc điểm nổi bật của khóa học Logstash
– Nội dung chính xác, tập trung: Khóa học này đào sâu vào Logstash thay vì bao quát cả Elastic Stack, giúp bạn hiểu rõ và sử dụng Logstash một cách tối ưu.
– Hữu ích cho người mới bắt đầu: Bạn không cần kinh nghiệm trước với Logstash. Chúng tôi sẽ hướng dẫn bạn qua từ những khái niệm cơ bản đến các đề tài nâng cao.
– Học qua dự án thực tế: Bạn sẽ xây dựng một đường ống xử lý nhật ký Apache đầy đủ, bao gồm nhật ký truy cập và nhật ký lỗi.
– Tập trung vào kỹ năng thực tế: Sau khi hoàn thành khóa học, bạn sẽ hiểu rõ các khía cạnh quan trọng nhất của Logstash và biết cách xây dựng các đường ống xử lý dữ liệu phức tạp.
—
Chương trình học
Phần 1: Getting Started
– Khái quát về Logstash và vai trò trong Elastic Stack.
Phần 2: Basics of Logstash
– Tìm hiểu cách cấu hình pipeline.
– Cách thu thập, chuyển hóa và gửi dữ liệu đến Elasticsearch.
Phần 3: Project Apache
– Xây dựng đường ống xử lý nhật ký Apache.
– Xử lý các tình huống thực tế.
Phần 4: Collecting Logs with Filebeat
– Tích hợp Filebeat để thu thập nhật ký.
– Xây dựng luồng dữ liệu giữa Filebeat và Logstash.
Phần 5: Conclusion
– Tổng kết kiến thức.
– Định hướng ứng dụng thực tiễn và bước tiếp theo trong hành trình làm chủ Elastic Stack.
—
Ai nên tham gia khóa học này?
– Nhà phát triển phần mềm: Những người muốn học cách triển khai Logstash để xử lý dữ liệu và sự kiện trong ứng dụng của mình.
– Quản trị viên hệ thống: Những người muốn thu thập và phân tích nhật ký hệ thống một cách hiệu quả.
– Chuyên gia dữ liệu: Những người cần xử lý và làm giàu dữ liệu trước khi phân tích.
– Người mới bắt đầu với Elastic Stack: Ai cũng có thể tham gia, ngay cả khi bạn chưa từng làm việc với Elastic Stack trước đây.
Lợi ích của khóa học:
1. Hiểu rõ các khái niệm cơ bản của Logstash.
2. Xây dựng đường ống xử lý và thao tác hàng nghìn sự kiện.
3. Kết nối Logstash với nhiều nguồn dữ liệu và nhiều đích.
4. Triển khai đường ống xử lý nhật ký máy chủ web Apache một cách đầy đủ.
5. Xử lý các sự kiện Filebeat bằng Logstash.
Hãy bắt đầu hành trình làm chủ Logstash ngay hôm nay! Hẹn gặp bạn trong khóa học.
-
5Bài 4: Xử lý sự kiện(event) đầu tiên với Logstash
-
6Bài 5: Xử lý dữ liệu JSON trong Logstash
-
7Bài 6: Xuất sự kiện(event) từ Logstash ra file
-
8Bài 7: Làm việc với dữ liệu HTTP trong Logstash
-
9Bài 8: Lọc sự kiện hiệu quả với Logstash
-
10Bài 9: Các tùy chọn lọc phổ biến trong Logstash
-
11Bài 10: Hiểu mô hình thực thi của Logstash
-
12Bài 11: Tổng kết: Hiểu rõ Logstash và ứng dụng trong Elastic Stack
-
13Bài 12: Giới thiệu phần học về xử lý và cấu hình Logstash
-
14Bài 13: Tự động tải lại cấu hình và xử lý dữ liệu từ file với Logstash
-
15Bài 14: Tài liệu Grok: Khai thác mẫu dữ liệu(pattern data) trong Logstash
-
16Bài 15: Hoàn thiện mẫu(pattern) Grok để phân tích dữ liệu
-
17Bài 16: Truy cập và xử lý giá trị các trường trong sự kiện Logstash
-
18Bài 17: Định dạng ngày tháng trong Logstash
-
19Bài 18: Đặt thời gian cho sự kiện trong Logstash
-
20Bài 19: Giới thiệu câu lệnh điều kiện trong Logstash
-
21Bài 20: Làm việc với các câu lệnh điều kiện trong Logstash
-
22Bài 21: Làm giàu dữ liệu địa lý trong Logstash
-
23Bài 22: Phân tích dữ liệu User Agent trong Logstash
-
24Bài 23: Hoàn thiện pipeline xử lý dữ liệu Logstash
-
25Bài 24: Gửi sự kiện đã xử lý đến Elasticsearch
-
26Bài 25: Xử lý sự kiện nhiều dòng với Logstash
-
27Bài 26: Cách đơn giản để xử lý sự kiện nhiều dòng
-
28Bài 27: Phân tích stack trace bằng Grok trong Logstash
-
29Bài 28: Sử dụng @metadata để quản lý dữ liệu trong Logstash
-
30Bài 29: Quản lý và chạy nhiều pipeline trong Logstash
-
31Bài 30: Giới thiệu về Beats trong Elastic Stack
-
32Bài 31: Project xử lý log hoàn chỉnh với Filebeat và Logstash
-
33Bài 32: Hướng dẫn cài đặt Filebeat trong hệ thống
-
34Bài 33: Cấu hình Filebeat để gửi dữ liệu đến Logstash
-
35Bài 34: Kích hoạt module Apache trong Filebeat
-
36Bài 35: Chuẩn bị pipeline Logstash đơn giản
-
37Bài 36: Khởi chạy Filebeat và xử lý log hệ thống
-
38Bài 37: Thêm mẫu chỉ mục Elasticsearch cho dữ liệu log
-
39Bài 38: Cài đặt và sử dụng Dashboards Kibana
-
40Bài 39: Hoàn thiện pipeline Filebeat-Logstash-Elasticsearch
-
41Bài 40: Cách hoạt động của Filebeat trong Elastic Stack
-
42Bài 41: Xóa và làm mới registry trong Filebeat
-
43Bài 42: Xử lý thêm các log truy cập Apache
-
44Bài 43: Cấu hình nguồn dữ liệu thủ công trong Filebeat
-
45Bài 44: Đánh giá và sử dụng các module Filebeat
-
46Bài 45: Gắn thẻ sự kiện trong Filebeat để phân loại dữ liệu
-
47Bài 46: Phương pháp xử lý nhiều loại log trong Filebeat
-
48Bài 47: Xử lý lỗi Apache với Filebeat và Logstash
-
49Bài 48: Xử lý log nhiều dòng: Phương pháp 1
-
50Bài 49: Tùy chọn nâng cao cho log nhiều dòng
-
51Bài 50: Xử lý log nhiều dòng: Phương pháp 2
-
52Bài 51: Tổng kết: Hoàn thiện hệ thống Filebeat và Logstash
- Quản trị hệ thống & DevOps muốn quản lý và xử lý log tập trung.
Lập trình viên & kỹ sư phần mềm cần thu thập, phân tích và trực quan hóa dữ liệu log từ nhiều nguồn khác nhau.
- Chuyên gia bảo mật & phân tích dữ liệu muốn sử dụng Logstash và Filebeat để thu thập và xử lý dữ liệu log phục vụ cho giám sát hệ thống.
- Người đang sử dụng hoặc có ý định triển khai Elasticsearch trong hệ thống của mình.
- Kiến thức cơ bản về hệ điều hành Linux hoặc Windows: Biết cách thao tác với terminal hoặc command line.
- Hiểu biết sơ lược về log & hệ thống giám sát: Không bắt buộc, nhưng sẽ giúp bạn tiếp cận nhanh hơn.
- Có kiến thức về Elasticsearch là một lợi thế: Nếu bạn chưa biết về Elasticsearch, khóa học sẽ hướng dẫn tổng quan để bạn bắt kịp.
- Tổng quan về ELK Stack: Hiểu về Elasticsearch, Logstash, Kibana và Filebeat.
- Cách thu thập log bằng Filebeat: Cấu hình Filebeat để gửi log từ nhiều nguồn khác nhau.
- Xử lý log bằng Logstash: Viết pipeline xử lý log, chuyển đổi, lọc và gửi dữ liệu đến Elasticsearch.
- Cách tối ưu hiệu suất trong quá trình xử lý dữ liệu: Tránh lỗi quá tải và xử lý log hiệu quả.
- Kết nối với các hệ thống khác nhau: Lấy log từ ứng dụng, container, hệ thống, hoặc gửi log đến nhiều nguồn đích.
- Trực quan hóa dữ liệu với Kibana: Xây dựng dashboard để giám sát log theo thời gian thực.
- Thu thập và xử lý log từ nhiều nguồn khác nhau với Filebeat và Logstash.
- Xây dựng pipeline xử lý dữ liệu log hiệu quả, giảm thiểu lỗi và tối ưu hệ thống.
- Kết nối hệ thống logging với Elasticsearch để lưu trữ và truy vấn dữ liệu log.
- Trực quan hóa log bằng Kibana để giám sát hệ thống theo thời gian thực.
- Giải quyết các vấn đề thực tế liên quan đến log như lọc dữ liệu, chuẩn hóa và gửi dữ liệu log đến nhiều nơi.
- Máy tính cá nhân có quyền cài đặt phần mềm.
- Kết nối internet ổn định nếu tham gia học online.
- Một môi trường lab (máy ảo hoặc server test) để thực hành với Logstash, Filebeat và Elasticsearch
Thông báo quan trọng về khóa học
Chào mừng bạn!
Chào mừng bạn đến với khóa học "Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat"! Đây là khóa học chuyên sâu giúp bạn làm chủ Logstash để xử dữ liệu một cách hiệu quả và chuyên nghiệp. Hãy dành ít phút đọc các thông báo quan trọng bên dưới để có trải nghiệm học tập tốt nhất.
Lịch trình cập nhật & Hỗ trợ học viên
- Các bài giảng sẽ được cập nhật định kỳ để đảm bảo nội dung luôn mới nhất.
- Nếu có câu hỏi hoặc gặp vấn đề trong quá trình học, hãy tham gia group hỗ trợ trên Facebook/Zalo/Discord để trao đổi với bộ phận CSKH.
- Email hỗ trợ: learnopsviet@gmail.com
Yêu cầu kỹ thuật
- Bạn nên sử dụng trình duyệt Chrome hoặc Firefox,.v.v.. để có trải nghiệm học tập tốt nhất.
- Đảm bảo máy tính của bạn có thể chạy Kibana, Elasticsearch và Logstash. Nếu gặp lỗi cài đặt, hãy xem hướng dẫn trong khóa học hoặc liên hệ hỗ trợ.
Ưu đãi đặc biệt & Khuyến mãi
- Học viên của khóa học này có thể nhận mã giảm giá 20% khi đăng ký khóa học tiếp theo.
- Nếu hoàn thành khóa học và để lại đánh giá, bạn sẽ nhận được tài liệu bổ sung miễn phí!
Lưu ý về bài tập và chứng nhận hoàn thành
- Một số bài giảng có bài tập thực hành – bạn nên làm để hiểu sâu hơn về Kibana.
- Sau khi hoàn thành khóa học, bạn có thể tải chứng nhận hoàn thành trực tiếp từ nền tảng.
Chúc bạn học tập hiệu quả và sớm làm chủ Logstash!
