Trích xuất URL từ văn bản

Việc phát hiện URL khó hơn vẻ bề ngoài, và công cụ này cố tình tuân theo một quy tắc an toàn duy nhất: nó chỉ nhận các liên kết đầy đủ dạng http:// và https://. Mọi thứ khác vẫn nằm lại trong văn bản của bạn.

Các dạng được nhận diện

Quy tắc cắt bỏ

Dấu câu cuối bị bỏ đi, nên (https://example.com). trở thành https://example.com. Khoảng trắng, dấu ngoặc kép, dấu ngoặc góc, dấu ngoặc tròn, dấu ngoặc vuông, dấu phẩy và dấu chấm phẩy đều dừng việc tìm kiếm. URL chứa dấu ngoặc sẽ bị cắt tại dấu ngoặc mở đầu tiên, nên một tiêu đề kiểu Wikipedia chỉ được lấy đến dấu ngoặc mở mà thôi.

Những gì bị bỏ qua

• mailto:, tel:, ftp: và mọi giao thức khác không phải http hoặc https.
• Liên kết tương đối theo giao thức như //cdn.example.com/asset.js.
• Tên miền trần và địa chỉ có tiền tố www. nhưng không có giao thức, như example.com/docs/intro hoặc www.example.com/page.
• Các đoạn chỉ có neo như #section và URL giả kiểu JavaScript.

Cách xử lý bản trùng lặp

Các bản trùng lặp chính xác bị loại bỏ: https://example.com chỉ tính một lần dù xuất hiện bao nhiêu lần, còn Example.com và example.com vẫn là hai mục riêng biệt. Danh sách giữ thứ tự xuất hiện đầu tiên của mỗi URL.

Mẹo xử lý hậu kỳ

• Chuyển về chữ thường để khử trùng lặp chuẩn. Nếu muốn Example.com và example.com tính là một máy chủ, hãy chuyển kết quả về chữ thường rồi khử trùng lặp lại.
• Loại bỏ tham số theo dõi bằng công cụ dọn UTM trước khi lưu trữ, nếu không bạn sẽ có hàng chục bản gần giống nhau.
• Kiểm tra trạng thái. Đưa danh sách qua công cụ kiểm tra liên kết hỏng để loại bỏ lỗi 404 trước khi chốt danh sách.