Entropia limbajului

Entropia unei limbi este o funcție statistică a unui text într-o anumită limbă sau limba în sine, care determină cantitatea de informații pe unitatea de text.

Din punct de vedere matematic, entropia unei limbi este definită ca

r = H \left(M \dreapta) / N

unde este mesajul, este entropia acestuia , este lungimea mesajului. $M$ $H \stânga(M \dreapta)$ $N$

Potrivit lui Claude Shannon și Thomas Cover ( engl. Thomas Cover ), pentru engleză această valoare este între 1,3 și 2,3 biți pe literă.

Literatură

Schneier B. Capitolul 11. Fundamentele matematice. Entropia limbajului. // Criptografia aplicată. Protocoale, algoritmi, cod sursă în limbaj C = Criptografie aplicată. Protocoale, algoritmi și cod sursă în C. - M . : Triumf, 2002. - P. 269. - 816 p. - 3000 de exemplare. - ISBN 5-89392-055-4 .
CE Shannon . Predicția și entropia de engleză tipărită (engleză) // Bell Systems Technical Journal. - 1951. - Vol. 30 . - P. 50-64 . Arhivat din original pe 5 februarie 2007.
Cover, T. , King, R. A convergent gambling estimate of the entropy of English // Information Theory, IEEE Transactions on. - 1978. - T. 24 , nr. 4 . - S. 413 - 421 . — ISSN 0018-9448 .