Công Cụ Kiểm Tra Mojibake

Giả thuyết khôi phục có thể và không thể xác định điều gì

Mã hóa xác lập quan hệ giữa ký tự và byte. UTF-8 biểu diễn é bằng hai byte C3 A9. Nếu phần mềm giải mã các byte này thành Windows-1252 hoặc ISO-8859-1, kết quả hiển thị có thể là é. Một giả thuyết hữu ích đảo ngược đúng kiểu sai lệch đó: xem các ký tự theo bảng mã cũ đang hiển thị là giá trị byte, giải mã nghiêm ngặt các byte thành UTF-8, rồi xác minh rằng việc mã hóa lại ứng viên bằng UTF-8 tạo ra đúng các byte ban đầu.

Phép kiểm tra khứ hồi loại bỏ chuỗi UTF-8 không đầy đủ hoặc sai định dạng. Ứng viên chứa ký tự thay thế � cũng bị loại vì thông tin ở vị trí đó đã mất. Khứ hồi hợp lệ chỉ là bằng chứng ủng hộ một giả thuyết, không chứng minh hệ thống nguồn đã dùng bảng mã nào hay tác giả định viết gì.

Vì sao văn bản tiếng Nhật cần ngữ cảnh

Khi byte UTF-8 của tiếng Nhật bị giải mã theo một bảng mã cũ không phù hợp, văn bản có thể biến thành chuỗi dài gồm chữ Latinh, ký hiệu và ký tự giống mã điều khiển. Khả năng chuyển đổi ngược giúp thu hẹp ứng viên, nhưng một tên ngắn hoặc ký tự riêng lẻ vẫn có thể mơ hồ. Hãy đối chiếu ứng viên với tài liệu gốc, nguồn xuất cơ sở dữ liệu, người gửi hoặc một bản sao có thẩm quyền khác.

Giới hạn và cách khôi phục an toàn hơn

Công cụ này nhận văn bản Unicode mà trình duyệt đã giải mã. Công cụ không thể lấy lại byte đã bị loại bỏ trước đó, suy ra bảng mã từ tệp nhị phân, sửa cột cơ sở dữ liệu hoặc thay đổi tiêu đề HTTP Content-Type. Nếu không có ứng viên, hãy giữ nguyên văn bản gốc. Khi có thể, hãy lấy byte nguồn thực tế, tạo bản sao lưu, xác định cả bảng mã được khai báo lẫn bảng mã thực rồi chỉ giải mã một lần bằng công cụ dành cho tệp hoặc luồng byte. Không lưu lặp lại văn bản hỏng đè lên bản nguồn duy nhất.