Bộ chuẩn hóa Unicode

Chuẩn hóa Unicode được định nghĩa trong phụ lục chuẩn UAX #15. Bốn dạng khác nhau theo hai trục: chuẩn tắc so với tương thích, và kết hợp so với phân tách.

Tham chiếu cạnh nhau

Các dạng chuẩn tắc giữ nguyên nghĩa

Nhập é rồi đổi dạng. NFC báo cáo 1 ký tự và 2 byte (điểm mã duy nhất U+00E9), còn NFD báo cáo 2 ký tự và 3 byte (một chữ e thường theo sau là dấu sắc kết hợp, U+0301). Cả hai trông giống hệt trên màn hình nhưng là các chuỗi byte khác nhau, và chính sự chênh lệch đó là điều mà chuẩn hóa khắc phục. Các dạng chuẩn tắc chỉ sắp xếp lại byte, nên é ở dạng nào cũng luôn có nghĩa là chữ e với dấu sắc.

“Tương thích” thực sự thay đổi điều gì

Các dạng K (NFKC, NFKD) còn viết lại những ký tự trông có họ hàng nhưng mang định dạng khác. Đây là thao tác mất mát: bạn không lấy lại được bản gốc. Ví dụ:

• fi (U+FB01, chữ ghép Latinh thường fi) thành fi (hai chữ cái)
• ① (U+2460, chữ số một trong vòng tròn) thành 1
• ㌀ (U+3300, ô vuông CJK “apaato”) thành アパート
• Ａ toàn chiều rộng (U+FF21) thành A

Điều này mạnh cho tìm kiếm và khử trùng lặp nhưng phá hủy đối với kiểu chữ, nên chỉ dùng các dạng K khi độ trung thực thị giác không quan trọng.

Một quy tắc thực dụng

• Lưu nội dung người dùng ở NFC.
• So sánh định danh ở NFC để café viết bằng một điểm mã và café viết bằng e + U+0301 khớp nhau; nâng lên NFKC khi bạn còn muốn fi và fi, hoặc Ａ toàn chiều rộng và A, cũng được so sánh là bằng nhau, như các quy tắc định danh trong UAX #31.
• Tạo slug không dấu bằng cách chuẩn hóa về NFD rồi xóa khối dấu kết hợp U+0300 đến U+036F.