Entropia diferenţială

Versiunea actuală a paginii nu a fost încă revizuită de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 27 octombrie 2016; verificările necesită 70 de modificări .

Entropia diferențială este o funcție funcțională definită pe un set de distribuții de probabilitate absolut continue , un analog formal al conceptului Shannon de entropie informațională pentru cazul unei variabile aleatoare continue . În teoria informației, funcționalul a fost introdus euristic de K. Shannon [1] , dar el nu este autorul termenului de „entropie diferențială”. Termenul în sine a fost introdus de A. N. Kolmogorov împreună cu I. M. Gelfand și A. M. Yaglom și subliniază că acest concept are un alt sens decât entropia distribuțiilor discrete. De asemenea, au obținut o derivare riguroasă a entropiei diferențiale ca prim termen al expansiunii asimptotice a entropiei , în care se manifestă dependența de distribuția unei variabile aleatoare [2] [3] [4] . Pentru o variabilă aleatoare continuă distribuită pe ( ), entropia diferenţială este definită ca $\xi$ $X\subseteq R^{n)$ $n<\infty$

H(\xi )=-\int _{X}{f\left(x\right)\log f\left(x\right)\,}dx

unde este densitatea de distribuție a unei variabile aleatoare (sau a unui semnal dintr-o sursă continuă ca variabilă aleatoare). Alegerea bazei logaritmului în această formulă (trebuie să fie mai mare decât 1) determină unitatea de măsură pentru cantitatea corespunzătoare de informații. Deci, în teoria informației , este adesea folosit logaritmul binar , care corespunde unității cantității de biți de informație , iar funcționalul este interpretat ca informația medie a unei surse continue. În statistica matematică , în definiția entropiei diferențiale, din motive de comoditate, se folosește de obicei logaritmul natural (unitatea corespunzătoare nat ), funcționalul este interpretat ca o măsură a incertitudinii unei distribuții continue. $f\stânga(x\dreapta)$

Entropia diferențială este neinvariantă în raport cu transformările coordonatelor unei variabile aleatoare și nu are semnificație independentă (are o valoare numerică neinterpretabilă). Mai mult, dacă variabila aleatoare are o dimensiune, atunci funcționalitatea diferenţială a entropiei va fi incorectă din punct de vedere al dimensiunii, deoarece mărimea dimensională apare sub semnul logaritmului. Totuși, diferența dintre entropiile diferențiale a două variabile aleatoare distribuite pe aceeași mulțime este corectă, în plus, o mărime adimensională și coincide cu diferența entropiilor lor. Deoarece entropia oricărei variabile aleatoare continue este infinită, atunci când se ia diferența de entropii, este necesar să se dezvăluie incertitudinea folosind expansiunea asimptotică [3] [4] [5] .

Astfel, capacitatea de a exprima entropia diferențială în biți (sau alte unități) este destul de arbitrară: situația de aici este similară cu măsurarea temperaturii în grade Celsius , care, deși coincid ca mărime cu kelvin , nu sunt o scară de temperatură absolută , dar au unele deplasări în raport cu acesta (în conformitate cu Din acest motiv, entropia diferenţială, precum temperatura de pe scara Celsius , poate fi negativă). Diferența este că, în cazul entropiei diferențiale, această deplasare este infinită în raport cu scara absolută definită de valorile entropiei . Acestea. o scară absolută pentru entropia distribuțiilor continue nu poate fi aleasă, dar entropia diferențială poate fi utilizată pentru a compara entropiile diferitelor distribuții.

În unele surse [5] , entropia diferenţială a unei distribuţii este interpretată ca entropia ei în raport cu entropia unei distribuţii uniforme pe un interval de lungime unitară, deoarece aceasta din urmă are entropie diferenţială zero. Trebuie remarcat faptul că această abordare nu este în întregime corectă, deoarece entropia în cazul continuu depinde de modul în care pasul de discretizare tinde la zero atunci când intervalul este partiționat. Numai în cazul în care se consideră același interval, se poate presupune că la calcularea entropiei se folosește aceeași discretizare pentru fiecare dintre distribuții, atunci diferența de entropie tinde spre o limită finită. În cazul general (pentru discretizarea arbitrară), diferența dintre entropiile variabilelor aleatoare continue nu tinde spre nicio limită.

Entropia diferențială condiționată

Entropia diferențială condiționată pentru o cantitate la o anumită cantitate este dată de următoarea formulă: $X$ $Y$

H\left({X|Y=y}\right)=-\int \limits _{-\infty }^{+\infty }{f_{X|Y}\left(x\right)\ log f_{X|Y}\stanga(x\dreapta)\,dx}

Entropiile diferențiale necondiționate și condiționate pot fi fie pozitive, fie negative și pot fi, de asemenea, egale cu infinitul . Această circumstanță indică, de asemenea, că entropia diferențială (condițională și necondiționată) are o semnificație ușor diferită de entropia , care este întotdeauna nenegativă.

Pentru entropia diferenţială, egalităţile sunt valide, similare cu entropia unei surse discrete :

H\left(X\dreapta) \ge H\left({X|Y} \right)

(pentru surse independente - egalitate)

H\stanga({X,Y} \dreapta) = H\stanga(X \dreapta) + H\stanga({Y|X} \dreapta) = H\stanga(Y \dreapta) + H\stanga({X |Y}\dreapta)

Exemple

În exemplele de mai jos, definiția entropiei diferențiale folosește logaritmul natural, varianța distribuției. $\sigma ^{2}$

Se poate arăta că entropia diferențială a distribuțiilor cu varianță limitată este maximă în cazul unei distribuții de probabilitate gaussiene și este egală cu

H={\frac {1}{2}}\ln \left({2\pi \sigma ^{2}e}\right)

Dintre distribuțiile date pe un interval limitat, maximul entropiei diferențiale este atins pentru o distribuție uniformă și este egal cu

H=\ln \left({2{\sqrt {3}}\sigma }\right)

Pentru distribuția Laplace

H=\ln \left({{\sqrt {2}}\sigma e}\right)

Exemple cu unități de măsură specifice

Să luăm bucăți pentru certitudine . Deci baza logaritmului este 2.

Pentru distribuție uniformă de la până la : $0$ $unu$

f(x)=1

H(f)=-\int _{0}^{1}dx1\log _{2}1=0\;{\rm {bit)}

Pentru distribuție uniformă de la până la : $0$ $2$

f(x)={\frac {1}{2)}

H(f)=-\int _{0}^{2}dx{\frac {1}{2}}\log _{2}{\frac {1}{2}}=1\; {\rm {bit}}

Pentru distribuție uniformă de la până la : $0$ $patru$

f(x)={\frac {1}{4}}

H(f)=-\int _{0}^{4}dx{\frac {1}{4}}\log _{2}{\frac {1}{4}}=2\; {\rm {bit}}

Note

↑ Shannon, 1963 , p. 296-300.
↑ Gelfand, 1958 , p. 300-320.
↑ 1 2 Kolmogorov, 1987 , p. 39-41.
↑ 1 2 Glushkov, 1974 , p. 583-585.
↑ 1 2 Tarasenko, 1963 , p. 74-77.

Literatură

Werner M. 8.1 Entropia diferenţială // Fundamentals of coding = Information und Codierung / transl. D.K. Zigangirova . - CJSC „RIC” Tehnosfera „”, 2004. - S. 109-114. — (Lumea programării). - 3000 de exemplare. — ISBN 5-94836-019-9 .
Kolmogorov A. N. Teoria informației și teoria algoritmilor. - M. : Nauka, 1987. - 304 p.
Tarasenko F. P. Introducere în cursul teoriei informației. - Tomsk: Editura Universității din Tomsk, 1963. - 240 p.
Shannon K. Lucrează pe teoria informației și cibernetică. - M . : Editura de literatură străină, 1963. - 830 p.
Gel'fand I. M., Kolmogorov A. N., Yaglom A. M. Cantitatea de informații și entropia pentru distribuții continue. În carte: Tr. III Congres de Matematică Uniune, vol. 3. - M . : AN SSSR, 1958.
Glushkov V.M., Amosov N.M., Artemenko I.A. Enciclopedia Cibernetică. Volumul 2. - Kiev, 1974.

Link -uri

Entropia unei variabile aleatoare continue și proprietățile acesteia