Entropia încrucișată

În teoria informației, entropia încrucișată între două distribuții de probabilitate măsoară numărul mediu de biți necesari pentru a identifica un eveniment dintr-un set de posibilități dacă schema de codificare utilizată se bazează pe o distribuție de probabilitate dată în loc de distribuția „adevărată” . $q$ $p$

Entropia încrucișată pentru două distribuții și pe același spațiu de probabilitate este definită după cum urmează: $p$ $q$

\mathrm {H} (p,q){\stackrel {\mathrm {df} }{\;=\;))\mathrm {E} _{p}[-\log q]=\mathrm { H} (p)+D_{\mathrm {KL} }(p\|q)

unde este entropia și este distanța Kullback-Leibler de la (cunoscută și ca entropia relativă ). $H(p)$ $p$ $D_{\mathrm {KL} }(p||q)$ $p$ $q$

Pentru discret și asta înseamnă $p$ $q$

\mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x).

Situația pentru o distribuție continuă este similară:

\mathrm {H} (p,q)=-\int \limits _{X}p(x)\,\log q(x)\,dx.

Trebuie avut în vedere că, în ciuda analogiei formale a funcționalelor pentru cazurile continue și discrete, acestea au proprietăți diferite și au semnificații diferite. Cazul continuu are aceleași specificități ca și noțiunea de entropie diferențială .

NB : Notația este uneori folosită atât pentru entropia încrucișată, cât și pentru entropia comună și . $\mathrm {H} (p,q)$ $p$ $q$

Minimizarea entropiei încrucișate

Minimizarea entropiei încrucișate este adesea folosită în optimizare și pentru estimarea probabilităților de evenimente rare.

Vezi și

Entropia informațională