Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat
- Description
- Curriculum
- FAQ
- Notice
- Reviews
Tại sao bạn nên tham gia khóa học này?
Bạn muốn làm chủ kỹ thuật xử lý sự kiện và dữ liệu lớn trong hệ thống của mình? Khóa học “Data Processing with Logstash (and Filebeat)” được thiết kế đặc biệt dành cho bạn – những ai muốn hiểu rõ các khía cạnh trong ngăn xếp ELK (Elasticsearch, Logstash, Kibana) và Beats.
Logstash, được phát triển bởi Elastic, là công cụ để thu thập, xử lý, và chuyển hóa dữ liệu một cách linh hoạt. Đặc biệt, khi kết hợp với Filebeat, bạn sẽ có trong tay giải pháp để thu thập và chuyển hóa nhật ký một cách nhanh chóng và hiệu quả.
Đặc điểm nổi bật của khóa học Logstash
– Nội dung chính xác, tập trung: Khóa học này đào sâu vào Logstash thay vì bao quát cả Elastic Stack, giúp bạn hiểu rõ và sử dụng Logstash một cách tối ưu.
– Hữu ích cho người mới bắt đầu: Bạn không cần kinh nghiệm trước với Logstash. Chúng tôi sẽ hướng dẫn bạn qua từ những khái niệm cơ bản đến các đề tài nâng cao.
– Học qua dự án thực tế: Bạn sẽ xây dựng một đường ống xử lý nhật ký Apache đầy đủ, bao gồm nhật ký truy cập và nhật ký lỗi.
– Tập trung vào kỹ năng thực tế: Sau khi hoàn thành khóa học, bạn sẽ hiểu rõ các khía cạnh quan trọng nhất của Logstash và biết cách xây dựng các đường ống xử lý dữ liệu phức tạp.
—
Chương trình học
Phần 1: Getting Started
– Khái quát về Logstash và vai trò trong Elastic Stack.
Phần 2: Basics of Logstash
– Tìm hiểu cách cấu hình pipeline.
– Cách thu thập, chuyển hóa và gửi dữ liệu đến Elasticsearch.
Phần 3: Project Apache
– Xây dựng đường ống xử lý nhật ký Apache.
– Xử lý các tình huống thực tế.
Phần 4: Collecting Logs with Filebeat
– Tích hợp Filebeat để thu thập nhật ký.
– Xây dựng luồng dữ liệu giữa Filebeat và Logstash.
Phần 5: Conclusion
– Tổng kết kiến thức.
– Định hướng ứng dụng thực tiễn và bước tiếp theo trong hành trình làm chủ Elastic Stack.
—
Ai nên tham gia khóa học này?
– Nhà phát triển phần mềm: Những người muốn học cách triển khai Logstash để xử lý dữ liệu và sự kiện trong ứng dụng của mình.
– Quản trị viên hệ thống: Những người muốn thu thập và phân tích nhật ký hệ thống một cách hiệu quả.
– Chuyên gia dữ liệu: Những người cần xử lý và làm giàu dữ liệu trước khi phân tích.
– Người mới bắt đầu với Elastic Stack: Ai cũng có thể tham gia, ngay cả khi bạn chưa từng làm việc với Elastic Stack trước đây.
Lợi ích của khóa học:
1. Hiểu rõ các khái niệm cơ bản của Logstash.
2. Xây dựng đường ống xử lý và thao tác hàng nghìn sự kiện.
3. Kết nối Logstash với nhiều nguồn dữ liệu và nhiều đích.
4. Triển khai đường ống xử lý nhật ký máy chủ web Apache một cách đầy đủ.
5. Xử lý các sự kiện Filebeat bằng Logstash.
Hãy bắt đầu hành trình làm chủ Logstash ngay hôm nay! Hẹn gặp bạn trong khóa học.
-
4Bài 4: Xử lý sự kiện(event) đầu tiên với LogstashVideo lesson
-
5Bài 5: Xử lý dữ liệu JSON trong LogstashVideo lesson
-
6Bài 6: Xuất sự kiện(event) từ Logstash ra fileVideo lesson
-
7Bài 7: Làm việc với dữ liệu HTTP trong LogstashVideo lesson
-
8Bài 8: Lọc sự kiện hiệu quả với LogstashVideo lesson
-
9Bài 9: Các tùy chọn lọc phổ biến trong LogstashVideo lesson
-
10Bài 10: Hiểu mô hình thực thi của LogstashVideo lesson
-
11Bài 11: Tổng kết: Hiểu rõ Logstash và ứng dụng trong Elastic StackVideo lesson
-
12Bài 12: Giới thiệu phần học về xử lý và cấu hình LogstashVideo lesson
-
13Bài 13: Tự động tải lại cấu hình và xử lý dữ liệu từ file với LogstashVideo lesson
-
14Bài 14: Tài liệu Grok: Khai thác mẫu dữ liệu(pattern data) trong LogstashVideo lesson
-
15Bài 15: Hoàn thiện mẫu(pattern) Grok để phân tích dữ liệuVideo lesson
-
16Bài 16: Truy cập và xử lý giá trị các trường trong sự kiện LogstashVideo lesson
-
17Bài 17: Định dạng ngày tháng trong LogstashVideo lesson
-
18Bài 18: Đặt thời gian cho sự kiện trong LogstashVideo lesson
-
19Bài 19: Giới thiệu câu lệnh điều kiện trong LogstashVideo lesson
-
20Bài 20: Làm việc với các câu lệnh điều kiện trong LogstashVideo lesson
-
21Bài 21: Làm giàu dữ liệu địa lý trong LogstashVideo lesson
-
22Bài 22: Phân tích dữ liệu User Agent trong LogstashVideo lesson
-
23Bài 23: Hoàn thiện pipeline xử lý dữ liệu LogstashVideo lesson
-
24Bài 24: Gửi sự kiện đã xử lý đến ElasticsearchVideo lesson
-
25Bài 25: Xử lý sự kiện nhiều dòng với LogstashVideo lesson
-
26Bài 26: Cách đơn giản để xử lý sự kiện nhiều dòngVideo lesson
-
27Bài 27: Phân tích stack trace bằng Grok trong LogstashVideo lesson
-
28Bài 28: Sử dụng @metadata để quản lý dữ liệu trong LogstashVideo lesson
-
29Bài 29: Quản lý và chạy nhiều pipeline trong LogstashVideo lesson
-
30Bài 30: Giới thiệu về Beats trong Elastic StackVideo lesson
-
31Bài 31: Project xử lý log hoàn chỉnh với Filebeat và LogstashVideo lesson
-
32Bài 32: Hướng dẫn cài đặt Filebeat trong hệ thốngVideo lesson
-
33Bài 33: Cấu hình Filebeat để gửi dữ liệu đến LogstashVideo lesson
-
34Bài 34: Kích hoạt module Apache trong FilebeatVideo lesson
-
35Bài 35: Chuẩn bị pipeline Logstash đơn giảnVideo lesson
-
36Bài 36: Khởi chạy Filebeat và xử lý log hệ thốngVideo lesson
-
37Bài 37: Thêm mẫu chỉ mục Elasticsearch cho dữ liệu logVideo lesson
-
38Bài 38: Cài đặt và sử dụng Dashboards KibanaVideo lesson
-
39Bài 39: Hoàn thiện pipeline Filebeat-Logstash-ElasticsearchVideo lesson
-
40Bài 40: Cách hoạt động của Filebeat trong Elastic StackVideo lesson
-
41Bài 41: Xóa và làm mới registry trong FilebeatVideo lesson
-
42Bài 42: Xử lý thêm các log truy cập ApacheVideo lesson
-
43Bài 43: Cấu hình nguồn dữ liệu thủ công trong FilebeatVideo lesson
-
44Bài 44: Đánh giá và sử dụng các module FilebeatVideo lesson
-
45Bài 45: Gắn thẻ sự kiện trong Filebeat để phân loại dữ liệuVideo lesson
-
46Bài 46: Phương pháp xử lý nhiều loại log trong FilebeatVideo lesson
-
47Bài 47: Xử lý lỗi Apache với Filebeat và LogstashVideo lesson
-
48Bài 48: Xử lý log nhiều dòng: Phương pháp 1Video lesson
-
49Bài 49: Tùy chọn nâng cao cho log nhiều dòngVideo lesson
-
50Bài 50: Xử lý log nhiều dòng: Phương pháp 2Video lesson
-
51Bài 51: Tổng kết: Hoàn thiện hệ thống Filebeat và LogstashVideo lesson
- Quản trị hệ thống & DevOps muốn quản lý và xử lý log tập trung.
Lập trình viên & kỹ sư phần mềm cần thu thập, phân tích và trực quan hóa dữ liệu log từ nhiều nguồn khác nhau.
- Chuyên gia bảo mật & phân tích dữ liệu muốn sử dụng Logstash và Filebeat để thu thập và xử lý dữ liệu log phục vụ cho giám sát hệ thống.
- Người đang sử dụng hoặc có ý định triển khai Elasticsearch trong hệ thống của mình.
- Kiến thức cơ bản về hệ điều hành Linux hoặc Windows: Biết cách thao tác với terminal hoặc command line.
- Hiểu biết sơ lược về log & hệ thống giám sát: Không bắt buộc, nhưng sẽ giúp bạn tiếp cận nhanh hơn.
- Có kiến thức về Elasticsearch là một lợi thế: Nếu bạn chưa biết về Elasticsearch, khóa học sẽ hướng dẫn tổng quan để bạn bắt kịp.
- Tổng quan về ELK Stack: Hiểu về Elasticsearch, Logstash, Kibana và Filebeat.
- Cách thu thập log bằng Filebeat: Cấu hình Filebeat để gửi log từ nhiều nguồn khác nhau.
- Xử lý log bằng Logstash: Viết pipeline xử lý log, chuyển đổi, lọc và gửi dữ liệu đến Elasticsearch.
- Cách tối ưu hiệu suất trong quá trình xử lý dữ liệu: Tránh lỗi quá tải và xử lý log hiệu quả.
- Kết nối với các hệ thống khác nhau: Lấy log từ ứng dụng, container, hệ thống, hoặc gửi log đến nhiều nguồn đích.
- Trực quan hóa dữ liệu với Kibana: Xây dựng dashboard để giám sát log theo thời gian thực.
- Thu thập và xử lý log từ nhiều nguồn khác nhau với Filebeat và Logstash.
- Xây dựng pipeline xử lý dữ liệu log hiệu quả, giảm thiểu lỗi và tối ưu hệ thống.
- Kết nối hệ thống logging với Elasticsearch để lưu trữ và truy vấn dữ liệu log.
- Trực quan hóa log bằng Kibana để giám sát hệ thống theo thời gian thực.
- Giải quyết các vấn đề thực tế liên quan đến log như lọc dữ liệu, chuẩn hóa và gửi dữ liệu log đến nhiều nơi.
- Máy tính cá nhân có quyền cài đặt phần mềm.
- Kết nối internet ổn định nếu tham gia học online.
- Một môi trường lab (máy ảo hoặc server test) để thực hành với Logstash, Filebeat và Elasticsearch
Thông báo quan trọng về khóa học
Chào mừng bạn!
Chào mừng bạn đến với khóa học "Xử Lý Dữ Liệu Hiệu Quả Với Logstash và Filebeat"! Đây là khóa học chuyên sâu giúp bạn làm chủ Logstash để xử dữ liệu một cách hiệu quả và chuyên nghiệp. Hãy dành ít phút đọc các thông báo quan trọng bên dưới để có trải nghiệm học tập tốt nhất.
Lịch trình cập nhật & Hỗ trợ học viên
- Các bài giảng sẽ được cập nhật định kỳ để đảm bảo nội dung luôn mới nhất.
- Nếu có câu hỏi hoặc gặp vấn đề trong quá trình học, hãy tham gia group hỗ trợ trên Facebook/Zalo/Discord để trao đổi với bộ phận CSKH.
- Email hỗ trợ: learnopsviet@gmail.com
Yêu cầu kỹ thuật
- Bạn nên sử dụng trình duyệt Chrome hoặc Firefox,.v.v.. để có trải nghiệm học tập tốt nhất.
- Đảm bảo máy tính của bạn có thể chạy Kibana, Elasticsearch và Logstash. Nếu gặp lỗi cài đặt, hãy xem hướng dẫn trong khóa học hoặc liên hệ hỗ trợ.
Ưu đãi đặc biệt & Khuyến mãi
- Học viên của khóa học này có thể nhận mã giảm giá 20% khi đăng ký khóa học tiếp theo.
- Nếu hoàn thành khóa học và để lại đánh giá, bạn sẽ nhận được tài liệu bổ sung miễn phí!
Lưu ý về bài tập và chứng nhận hoàn thành
- Một số bài giảng có bài tập thực hành – bạn nên làm để hiểu sâu hơn về Kibana.
- Sau khi hoàn thành khóa học, bạn có thể tải chứng nhận hoàn thành trực tiếp từ nền tảng.
Chúc bạn học tập hiệu quả và sớm làm chủ Logstash!
