Entropia absolută a unei limbi

Entropia absolută a unei limbi este o valoare egală cu informația maximă care poate fi transmisă de o unitate a unei limbi date . În teoria informației, o unitate de limbaj este de obicei înțeleasă ca un simbol (litera) al alfabetului corespunzător, iar entropia absolută este calculată cu condiția ca toate secvențele de simboluri să fie la fel de probabile.

Dacă alfabetul unei limbi folosește litere diferite, atunci entropia absolută a limbii ( biți pe literă) poate fi calculată ca: $L$

R=\log _{{2}}{L}

Această valoare nu ține cont de posibila nepronunțare a „cuvintelor” primite.

Pentru limba engleză, această valoare este de aproximativ 4,7 biți pe literă. Această valoare este mult mai mare decât entropia reală a limbii , deoarece limba engleză, ca toate limbile naturale, are redundanță .

Literatură

Schneier B. Capitolul 11. Fundamentele matematice. Entropia limbajului. // Criptografia aplicată. Protocoale, algoritmi, cod sursă în limbaj C = Criptografie aplicată. Protocoale, algoritmi și cod sursă în C. - M . : Triumf, 2002. - P. 269. - 816 p. - 3000 de exemplare. - ISBN 5-89392-055-4 .