Phương tiện phân tích tệp nhật ký (Log File Parser)

Các định dạng mà bộ phân tích nhận diện được

Các mức ghi nhật ký tiêu chuẩn

Được sắp xếp từ lớn nhất đến nhỏ nhất. Hầu hết các ứng dụng đều tuân theo thứ tự syslog/PSR-3:

1. EMERGENCY – Hệ thống không thể sử dụng được.
2. ALERT – cần hành động ngay lập tức.
3. CRITICAL, tình trạng nghiêm trọng, ví dụ như cơ sở dữ liệu ngừng hoạt động.
4. ERROR – lỗi trong quá trình thực thi cần được điều tra.
5. WARNING – tình trạng ngoại lệ, không phải lỗi.
6. NOTICE – sự kiện bình thường nhưng có ý nghĩa.
7. INFO – các thông báo vận hành tổng quát.
8. DEBUG – chẩn đoán cấp thấp, gây nhiễu trong môi trường production.

Mẹo lọc

• Hãy lọc theo ngày trước tiên. Hầu hết nhật ký production đều rất lớn; việc thu hẹp xuống khoảng thời gian xảy ra sự cố sẽ giúp mọi bộ lọc khác chạy nhanh hơn.
• Sử dụng regex cho các thông điệp. Việc tìm kiếm timeout|connection refused|5\d\d có thể phát hiện hầu hết các sự cố mạng chỉ trong một lần quét.
• Tách riêng một địa chỉ IP. Khi điều tra một máy khách đáng ngờ, hãy loại bỏ tất cả những cái còn lại và đọc các yêu cầu của nó theo thứ tự thời gian.
• Loại trừ các trình thu thập dữ liệu (crawler). Các chuỗi con trong User-Agent như bot, crawl, spider sẽ loại bỏ phần lớn dữ liệu nhiễu trong các cuộc điều tra kiểu phân tích.

Các thông số hiệu suất

• Bộ phân tích chạy ở phía máy khách, do đó các dòng nhật ký vẫn nằm trên thiết bị của bạn. Điều này cũng có nghĩa là các tệp rất lớn (trên 100 MB) sẽ làm chậm trình duyệt; bạn nên chia nhỏ chúng trước bằng split -l hoặc truyền luồng qua một công cụ ở phía máy chủ.