UTF-16

UTF-16 ( Unicode Transformation Format ) în informatică  este una dintre modalitățile de a codifica caracterele din Unicode ca o secvență de cuvinte de 16 biți . 

Această codificare vă permite să scrieți caractere Unicode în intervalele U+0000..U+D7FF și U+E000..U+10FFFF (număr total 1 112 064 ). În acest caz, fiecare caracter este scris în unul sau două cuvinte (o pereche surogat). Codificarea UTF-16 este descrisă în apendicele Q la standardul internațional ISO/IEC 10646 și este, de asemenea, acoperită în IETF RFC 2781 „UTF-16, o codificare a ISO 10646”.

Istoricul aspectului

Prima versiune de Unicode (1991) a fost o codificare cu lățime fixă ​​de 16 biți; numărul total de caractere diferite a fost 2 16 ( 65 536 ). În cea de-a doua versiune a Unicode (1996), s-a decis extinderea semnificativă a zonei de cod; pentru a menține compatibilitatea cu acele sisteme în care Unicode pe 16 biți a fost deja implementat și a fost creat UTF-16. Zona 0xD800-0xDFFF, rezervată perechilor surogat, aparținea anterior zonei „personaje de uz privat”.

Deoarece 2 20 +2 16 −2048 ( 1 112 064 ) caractere pot fi afișate în UTF-16 , acest număr a fost ales ca nouă valoare a spațiului de cod Unicode.

Principiul codificării

În UTF-16, caracterele sunt codificate ca cuvinte pe doi octeți folosind toate intervalele de valori posibile (de la 0 la FFFF 16 ). Este posibilă codificarea caracterelor Unicode în intervalele 0000 16 ..D7FF 16 și E000 16 ..FFFF 16 . Intervalul D800 16 ..DFFF 16 exclus de aici este folosit doar pentru codificarea așa-numitelor perechi surogat - caractere care sunt codificate cu două cuvinte de 16 biți.

Caracterele Unicode până la FFFF 16 inclusiv (excluzând intervalul pentru surogate) sunt scrise așa cum sunt cu un cuvânt de 16 biți.

Caracterele din intervalul 10000 16 ..10FFFF 16 (mai mult de 16 biți) sunt codificate conform următoarei scheme:

• 10000 16 se scade din codul caracterului . Rezultatul este o valoare de la zero la FFFFF 16 , care se încadrează într-o grilă de 20 de biți.

• Cei 10 biți superiori (un număr în intervalul 0000 16 ..03FF 16 ) sunt însumați cu D800 16 , iar rezultatul intră în primul (primul) cuvânt, care se află în intervalul D800 16 ..DBFF 16 .

• Cei 10 biți inferiori (de asemenea, un număr în intervalul 0000 16 ..03FF 16 ) sunt însumați cu DC00 16 , iar rezultatul intră în următorul (al doilea) cuvânt, care se află în intervalul DC00 16 ..DFFF 16 .

Endianness

Un singur caracter UTF-16 este reprezentat de o secvență de doi octeți sau două perechi de octeți. Care dintre cei doi octeți vine primul, mare sau scăzut, depinde de endian . Un sistem compatibil cu procesoare x86 se numește little endian , în timp ce cei cu procesoare m68k și SPARC  se numesc big endian .

Marca de ordine a octetilor este folosit pentru a determina ordinea octetilor .  La începutul textului se scrie codul U+FEFF. La citire, dacă a fost luat în considerare U+FFFE în loc de U+FEFF, atunci ordinea octetilor este inversată (little endian), deoarece codul U+FFFE în Unicode nu codifică un caracter și este rezervat doar în scopul determinării octetului Ordin. Deoarece UTF-8 nu utilizează valorile 0xFE și 0xFF, puteți utiliza marcajul de ordine a octeților ca o caracteristică pentru a distinge între UTF-16 și UTF-8.

UTF-16LE și UTF-16BE

De asemenea, este posibil să specificați ordinea octeților extern - pentru aceasta, codificarea trebuie descrisă ca UTF-16LE sau UTF-16BE (little-endian / big-endian), și nu doar UTF-16. În acest caz, marcajul ordinului octetilor (U+FEFF) nu este necesar.

UTF-16 pe Windows

În API -ul Win32 , comun în versiunile moderne ale sistemului de operare Microsoft Windows , există două moduri de a reprezenta text: sub forma unor pagini de cod tradiționale de 8 biți și sub formă de UTF-16.

Când se utilizează UTF-16, Windows nu impune restricții privind codificările fișierelor text pentru aplicații, permițându-le să utilizeze atât UTF-16LE, cât și UTF-16BE prin setarea și interpretarea marcajului corespunzător de ordine a octetilor . Cu toate acestea, formatul intern Windows este întotdeauna UTF-16LE. Acest punct trebuie luat în considerare atunci când lucrați cu fișiere executabile care utilizează versiuni Unicode ale funcțiilor WinAPI. Șirurile din ele sunt întotdeauna codificate în UTF-16LE [1] .

În sistemele de fișiere NTFS , precum și în FAT cu suport pentru nume lungi, numele fișierelor sunt , de asemenea, scrise în UTF-16LE.

Exemple de proceduri

Exemplele de mai jos sunt scrise în pseudocod și nu țin cont de masca de ordine a octeților - arată doar esența codificării. Ordinea octetilor - de la mai tânăr la mai în vârstă (Little-Endian, Intel x86). Tipul Word este un cuvânt de doi octeți (întreg fără semn de 16 biți), iar tipul UInt32 este un întreg fără semn pe 32 de biți. Valorile hexazecimale încep cu semnul dolar „$”.

Codificare

În exemplu WriteWord() , o procedură condiționată care scrie un cuvânt (în timp ce se deplasează indicatorul intern). Funcția LoWord()returnează cuvântul cel mai puțin semnificativ dintr-un număr întreg de 32 de biți (biții mai mari sunt eliminați fără a căuta).