Cantitatea de informații

Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită pe 8 octombrie 2016; verificările necesită 3 modificări .

Cantitatea de informație în teoria informației este cantitatea de informații dintr-un obiect aleatoriu în raport cu altul.

Fie și variabile aleatoare definite pe mulțimile corespunzătoare și . Atunci cantitatea de informații este relativă la diferența dintre entropiile a priori și a posteriori: $X$ $y$ $X$ $Y$ $X$ $y$

I(x,y)=H(x)-H(x|y)

Unde

H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)

este entropia și

H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y) )

- entropia condiţionată, în teoria transmiterii informaţiei, caracterizează zgomotul din canal.

Proprietăți entropie

Entropia are următoarele proprietăți:

0\leqslant H(x)\leqslant \ln(m)

unde este numărul de elemente din mulțime . $m$ $X$

$H(x)=0$ , dacă unul dintre elementele mulţimii se realizează cu probabilitate 1, iar restul, respectiv, 0, datorită faptului că şi . $1\ln 1=0$ $0\ln 0=0$

Valoarea maximă a entropiei este atinsă atunci când toate , i.e. toate rezultatele sunt la fel de probabile. $H(x)=\ln(m)$ $p(x)=1/m$

Entropia condiționată are următoarele proprietăți:

0\leqslant H(x|y)\leqslant H(x)

În acest caz , dacă maparea este cu o singură valoare, i.e. . $H(x|y)=0$ $Y$ $X$ $\forall y\exists x\colon p(x|y)=1$

Valoarea maximă a entropiei condiționale este atinsă atunci când și sunt variabile aleatoare independente. $H(x|y)=H(x)$ $X$ $y$

Proprietăți ale cantității de informații

Pentru cantitatea de informații, proprietățile sunt adevărate:

I(x,y)=I(y,x),

ca o consecinţă a teoremei lui Bayes .

I(x,y)\geqslant 0,

I(x,y)=0,

dacă și sunt variabile aleatoare independente.

X

y

I(x,x)=H(x).

Ultima proprietate arată că cantitatea de informație este egală cu entropia informațională dacă componenta de pierdere a informațiilor (zgomotul) este zero.

Literatură

Yaglom A.M. , Yaglom I.M. Probabilitate și informații. - M. , 1973.