Entropia Epsilon

Epsilon - entropie sau ε-entropie este un termen introdus de A. N. Kolmogorov pentru a caracteriza clasele de funcții. Acesta definește o măsură a complexității unei funcții , numărul minim de caractere necesare pentru a specifica o funcție cu precizie. $\varepsilon$

Introducere în concept

Luați în considerare un spațiu metric compact și definiți o rețea epsilon în el , adică o astfel de mulțime finită (formată din puncte) încât bilele cu raza centrate în aceste puncte acoperă complet totul . Apoi, pentru a specifica orice element cu precizie (adică, de fapt, alegerea unuia dintre nodurile rețelei), ordinea semnelor ( biților ) este suficientă. $M$ $N(\varepsilon)$ $\varepsilon$ $M$ $M$ $\varepsilon$ $\log _{2}N(\varepsilon )$

Pentru un segment , valoarea crește cu descreștere ca , pentru un pătrat ca etc. Astfel, indicatorul determină dimensiunea mulțimii Minkowski . $M=[0,\;1]$ $N$ $\varepsilon$ $1/\varepsilon$ $1/{\varepsilon ^{2)}$ $M$

În cazul unui spațiu de funcții netede (pe un cub compact în spațiu -dimensional și cu derivate mărginite de o constantă până la ordinul lui , astfel încât acest spațiu să fie compact), dimensiunea spațiului este infinită, dar numărul de elemente de rețea este finită, deși crește mai repede decât orice putere (negativă) a . $M$ $n$ $p$ $N(\varepsilon)$ $\varepsilon$

Kolmogorov a dovedit că logaritmul numărului de puncte dintr-o rețea minimă crește în acest caz ca . $N(\varepsilon)$ $\varepsilon$ $(1/\varepsilon )^{n/p)$

Aplicație

Introducerea conceptului de epsilon-entropie a făcut posibilă înțelegerea și rezolvarea celei de-a 13-a probleme a lui Hilbert .

Dacă funcțiile variabilelor care participă la suprapunere ar avea netezime , atunci cu ajutorul lor ar fi posibilă obținerea unei rețele pentru funcțiile reprezentate, al cărei logaritm al numărului de puncte ar fi de ordinul lui . Dacă acest număr este mai mic decât minimul posibil pentru funcțiile variabilelor de netezime , atunci înseamnă că reprezentarea presupusă prin suprapuneri a funcțiilor de o asemenea mare netezime este imposibilă. $k$ $p$ $(1/\varepsilon )^{k/p)$ $n$ $p$

Apoi Kolmogorov a arătat că, dacă netezimea este abandonată și toate funcțiile continue li se permite să participe la suprapunere, atunci orice funcție continuă a variabilelor este reprezentată printr-o suprapunere de funcții continue de numai trei variabile, iar după aceea studentul său, V.I. Arnold le-a prezentat cu suprapuneri de funcţii continue a două variabile. Ca urmare, teorema lui Kolmogorov conținea o singură funcție a două variabile, suma, iar toate celelalte funcții continue care alcătuiesc suprapunerea reprezentând toate funcțiile continue ale variabilelor depind fiecare de o singură variabilă. $n$ $n$