Trình trích xuất N-gram

Mỗi độ dài n-gram cho bạn biết điều gì

Công cụ tách văn bản của bạn như thế nào

• Mọi thứ đều chuyển về chữ thường, nên “The” và “the” nằm chung một dòng.
• Từ là một chuỗi liền mạch gồm chữ cái, chữ số hoặc dấu nháy đơn. Mọi ký tự khác (dấu câu, ký hiệu, xuống dòng) đều là dấu phân cách và bị loại bỏ.
• Ranh giới câu không được giữ lại. Từ cuối của câu này và từ đầu của câu kế tiếp vẫn có thể ghép thành một n-gram, vì vậy hãy thận trọng với các cặp bắc cầu qua hai câu. Nếu điều đó quan trọng, hãy phân tích từng câu hoặc từng đoạn một.
• Từ dừng được giữ nguyên. Công cụ không lọc giúp bạn; nếu chỉ muốn các cụm có nghĩa, hãy xóa những dòng đó khỏi file CSV sau khi xuất.
• Từ được nhận diện nhờ khoảng trắng và dấu câu. Với tiếng Việt, khoảng trắng ngăn cách âm tiết chứ không ngăn cách từ, nên cái mà công cụ gọi là “từ” thực chất là âm tiết: bigram sẽ gom đúng các từ ghép hai âm tiết như “công cụ” hay “tìm kiếm”, còn unigram chỉ cho bạn từng âm tiết rời. Vì vậy, với tiếng Việt hãy bắt đầu từ n = 2 hoặc n = 3. Tiếng Trung, tiếng Nhật và tiếng Thái thì không có khoảng trắng nào giữa các từ: cả câu sẽ vào như một “từ” duy nhất, cần tách từ trước bằng jieba, MeCab hoặc bộ tách từ tiếng Thái.

Khi nào nên loại bỏ từ dừng

Từ dừng là những hư từ xuất hiện với tần suất rất cao, như “the”, “a”, “of”, “and” trong tiếng Anh, hay “của”, “và”, “là”, “được” trong tiếng Việt. Giữ chúng lại sẽ khiến danh sách bigram đầy những cụm vô nghĩa như “of the” hay “của và”. Công cụ này không xóa chúng, nên hãy tự bỏ những dòng đó khỏi bản xuất khi bạn chỉ cần các cụm mang nghĩa, và giữ lại khi bạn nghiên cứu văn phong, xác định tác giả, hoặc huấn luyện mô hình ngôn ngữ, nơi hư từ chính là tín hiệu.

Ứng dụng trong SEO

Với một bài viết nhắm tới “nginx config generator”, hãy kiểm tra:

• Bigram và trigram mục tiêu có nằm trong top 20 không. Nếu “nginx config” xếp thứ 40, nhiều khả năng bạn đang dùng thuật ngữ đó quá ít.
• Bạn có nhồi từ khóa không. Nếu nó đứng thứ nhất với khoảng cách quá xa, bài viết sẽ đọc như spam.
• Có các cụm gần nghĩa đi kèm không. Những bigram liên quan như “server block”, “proxy pass” và “ssl certificate” giúp công cụ tìm kiếm tin rằng chủ đề đã được bao quát đầy đủ.

Ứng dụng trong NLP và học thuật

• Các mô hình ngôn ngữ dùng tần suất n-gram để làm mượt và backoff (Kneser-Ney, Good-Turing).
• Nghiên cứu xác định tác giả so sánh phân bố trigram giữa các tác giả khả dĩ.
• Đánh giá dịch máy (BLEU) chấm điểm dựa trên mức trùng khớp n-gram giữa bản dịch máy và bản dịch tham chiếu.