Teoria informației

Teoria informației  este o ramură a matematicii aplicate , a ingineriei radio ( teoria procesării semnalului ) și a informaticii , care se referă la măsurarea cantității de informații , proprietățile acesteia și stabilirea relațiilor limitative pentru sistemele de transmisie a datelor. Ca orice teorie matematică, teoria operează cu modele matematice , și nu cu obiecte fizice reale (surse și canale de comunicare ). Utilizează în principal aparatul matematic al teoriei probabilităților și al statisticii matematice .

Principalele ramuri ale teoriei informației sunt codarea sursă (codificare compresivă ) și codificarea canalelor ( corectarea zgomotului ). Teoria informației este strâns legată de entropia informațională , sistemele de comunicare, criptografia și alte discipline conexe.

Domeniul se află la intersecția dintre matematică , statistică , informatică , fizică , neuroștiință , inginerie informațională și inginerie electrică . Teoria și-a găsit aplicații și în alte domenii, inclusiv inferența statistică , procesarea limbajului natural , criptografia , neuroștiința [1] , viziunea umană [2] , evoluția [3] și funcția [4] a codurilor moleculare ( bioinformatică ), modelul statistic selecție [5] , fizică termică [6] , calcul cuantic , lingvistică , detectarea plagiatului [7] , recunoașterea modelelor și detectarea anomaliilor [8] . Subdomeniile importante ale teoriei informațiilor includ compresia datelor , codarea canalelor , teoria complexității algoritmice , teoria informației algoritmice , securitatea teoretică a informațiilor, analiza relațională a lui Gray și măsurarea informațiilor.

Introducere

Apariţia teoriei informaţiei este asociată cu publicarea de către Claude Shannon a lucrării " Teoria matematică a comunicării " în 1948 . Din punctul de vedere al lui Shannon, teoria informației este o ramură a teoriei matematice a comunicării. Teoria informației stabilește limitele principale ale posibilităților sistemelor de transmitere a informațiilor, stabilește principiile inițiale pentru dezvoltarea și implementarea lor practică. Gama de probleme ale teoriei informației este prezentată folosind o diagramă bloc, un sistem tipic de transmitere sau stocare a informațiilor.

În schemă, o sursă este orice obiect din univers care generează mesaje care trebuie mutate în spațiu și timp . Indiferent de natura fizică inițială, toate mesajele care urmează să fie transmise sunt de obicei convertite în formă de semnale electrice , astfel de semnale fiind considerate ca ieșire a sursei. Codificatorul sursă reprezintă informația în cea mai compactă formă. Codificatorul de canal procesează informațiile pentru a proteja mesajele de interferențe în timpul transmisiei prin canalul de comunicație sau de posibile distorsiuni în timpul stocării informațiilor. Modulatorul convertește mesajele generate de codificatorul de canal în semnale compatibile cu natura fizică a canalului de comunicație sau a mediului de stocare a informațiilor. Mediul de diseminare a informațiilor ( canalul de comunicare ) introduce zgomot aleatoriu în procesul de transmitere a informațiilor, care distorsionează mesajul și, prin urmare, îl face dificil de citit. Blocurile situate pe partea de recepție efectuează operațiuni inverse și oferă destinatarului informații într-o formă ușor de înțeles .

Istorie

Nașterea teoriei informației este adesea asociată cu plasarea în iulie-octombrie 1948 de către Claude Shannon a unei lucrări în jurnalul companiei americane de telefonie Bell System sub titlul „Teoria matematică a comunicării”. Dar este de menționat că contribuția la formularea și construcția teoriei informațiilor a fost adusă și de mulți alți oameni de știință de seamă. Shannon însuși la începutul articolului său a scris „Unele dintre principalele prevederi ale acestei teorii se găsesc în lucrările importante ale lui Nyquist și Hartley . În prezent, teoria a fost extinsă pentru a include o serie de factori noi, în special, influența zgomotului în canal.

Practic, Shannon a dezvoltat direcția lucrării lui Hartley, folosind conceptul de „informație”, dar termenul în sine nu explică, ci doar prevede că mesajele pot avea un fel de „sens”, adică se referă la un sistem care are propria esență fizică sau speculativă ( sistem cibernetic ). Teoria lui Shannon a fost considerată inițial ca o problemă matematică formulată cu precizie și a făcut posibilă determinarea debitului unui canal de comunicare zgomotos.

Codificarea datelor

Codificarea este procesul de tranziție a unui mesaj la intrarea unui canal de comunicație la un cod de mesaj la ieșire, în timp ce valoarea informațională a mesajului trebuie să rămână neschimbată. În teoria informației, se pot distinge următoarele secțiuni:

1. Codarea surselor discrete (model de codificare a datelor fără pierderi).

2. Codificarea datelor care asigură transmisia lor fără erori pe un canal zgomotos.

Un cod este decodabil în mod unic dacă orice secvență de caractere din alfabetul codului (și mai ales 0 și 1) este împărțită în cuvinte separate. Dacă niciun cuvânt de cod nu este începutul altuia, codul se numește cod prefix și este decodabil în mod unic. Prin urmare, a fi prefixat este o condiție suficientă, dar nu necesară pentru decodabilitatea unică. Cerința de prefix limitează setul de lungimi de cuvinte de cod și nu face posibilă alegerea cuvintelor de cod care sunt prea scurte. O condiție necesară și suficientă pentru existența unui cod de volum de prefix cu lungimi de cuvinte de cod este îndeplinirea inegalității lui Kraft:

De asemenea, este necesar să se ia în considerare codul Shannon-Fano  - un algoritm pentru codificarea neuniformă a prefixului. Această metodă de codificare folosește redundanța mesajului, care constă în distribuția neuniformă a frecvenței a caracterelor alfabetului său, adică înlocuiește codurile caracterelor mai frecvente cu secvențe binare scurte, iar codurile caracterelor mai rare cu secvențe mai lungi. secvențe binare. Luați în considerare o sursă care selectează litere dintr-o mulțime cu probabilități . Presupunem că literele sunt ordonate în ordinea descrescătoare a probabilităților ( ). Cuvântul cod al codului Shannon pentru un mesaj cu un număr este o secvență binară, care este primele cifre după punctul zecimal din notația binară a numărului :

3. Codarea datelor pentru sisteme cu mulți utilizatori descrie interacțiunea optimă a abonaților folosind o resursă comună, de exemplu, un canal de comunicare.

Vezi și

• Teoria codificarii
• Filosofia Informației
• Entropia informațională
• Comprimarea datelor
• Teoria algoritmică a informației

Note

1. ↑ F. Rieke; D. Warland; R Ruyter van Steveninck; W Bialek. Spikes: Explorarea codului neuronal  (nedefinit) . - The MIT press, 1997. - ISBN 978-0262681087 .
2. ↑ Delgado-Bonal, Alfonso; Martin-Torres, Javier. Viziunea umană este determinată pe baza teoriei informației  //  Rapoarte științifice. - 2016. - 3 noiembrie ( vol. 6 , nr. 1 ). — ISSN 2045-2322 . - doi : 10.1038/srep36038 . - . Arhivat din original pe 24 februarie 2021.
3. ↑ cf; Huelsenbeck, JP; Ronquist, F.; Nielsen, R.; Bollback, JP Inferența bayesiană a filogeniei și impactul acesteia asupra biologiei evoluționiste  (engleză)  // Science: journal. - 2001. - Vol. 294 , nr. 5550 . - P. 2310-2314 . - doi : 10.1126/science.1065889 . - .
4. ↑ Allikmets, Rando; Wasserman, Wyeth W.; Hutchinson, Amy; Smallwood, Filip; Nathans, Jeremy; Rogan, Peter K. Thomas D. Schneider , Michael Dean (1998) Organizarea genei ABCR: analiza secvențelor de joncțiune a promotorului și splice  ]  // Gene : jurnal. - Elsevier , 1998. - Vol. 215 , nr. 1 . - P. 111-122 . - doi : 10.1016/s0378-1119(98)00269-8 . Arhivat din original pe 21 august 2008.
5. ↑ Burnham, KP și Anderson DR (2002) Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Ediția a doua (Springer Science, New York) ISBN 978-0-387-95364-9 .
6. ↑ Jaynes, ET Teoria informațiilor și mecanica statistică   // Phys . Rev.  : jurnal. - 1957. - Vol. 106 , nr. 4 . — P. 620 . - doi : 10.1103/physrev.106.620 . - Cod . Arhivat din original la 30 august 2011.
7. ↑ Bennett, Charles H.; Li, Ming; Ma, Bin. Litere în lanț și istorii evolutive  (engleză)  // Scientific American . - Springer Nature , 2003. - Vol. 288 , nr. 6 . - P. 76-81 . - doi : 10.1038/scientificamerican0603-76 . — Cod . — PMID 12764940 . Arhivat din original pe 7 octombrie 2007.
8. ↑ David R. Anderson. Câteva informații despre motivul pentru care oamenii din științele empirice ar dori să înțeleagă mai bine metodele teoretice informaționale (pdf) (1 noiembrie 2003). Consultat la 23 iunie 2010. Arhivat din original pe 23 iulie 2011. (nedefinit)

Literatură

• Kudryashov B. D.  Teoria Informației, Universitatea de Stat din Sankt Petersburg NRU ITMO
• Leontiev VK , Gordeev EN Aspecte combinatorii ale teoriei informaţiei . M.: MIPT , 2019.
• Fursov V. A. Prelegeri despre teoria informației ISBN 5-7883-0458-X
• Claude E. Shannon , Warren Weaver. Teoria matematică a comunicării. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
• Thomas M. Coperta , Joy A. Thomas. Elemente de teoria informației New York: Wiley, 1991.ISBN 0-471-06259-6
• R. Landauer , Informația este fizică Proc. Workshop on Physics and Computation PhysComp'92 ( IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Demonul lui Maxwell: Entropie, informație, calcul, H.S. Leff și A.F. Rex, editori, Princeton University Press , Princeton, NJ (1990). ISBN 0-691-08727-X
• Shannon K. Lucrează pe teoria informației și cibernetică. — M.: Ed. străin lit., 1963. - 830 p.
• Kolmogorov AN Trei abordări ale definiției conceptului „cantitate de informații”, Probl. peredachi inform., 1 :1 (1965), 3-11
• Mackay, David. Teoria informațiilor, inferență și algoritmi de învățare . - Cambridge University Press, 2003. - ISBN 9780521642989 .

Link -uri

• Teoria informației  // Enciclopedia " Krugosvet ".
• Norbert Wiener . „Cibernetică sau control și comunicare în animale și mașini”
• K. Shannon . "Bandwagon"
• Publicații importante în teoria informației   (eng.)
• Abordări tradiționale ale cuantificării informațiilor
• Teoria Informației Sinergetice
• Holevo A. S. Introducere în teoria informației cuantice
• Holevo A. S. Sisteme cuantice, canale, informații (c2) M.: MTsNMO , 2014, 327 p. (Pe portalul editorului, pdf, 2M)
• compresie.ru
• Manual electronic de teoria informației
• Manual electronic de teoria informației

Dicționare și enciclopedii	mare danez Mare catalană Rusă mare in jurul lumii Britannica (online) Universalis
În cataloagele bibliografice BNE : XX527336 BNF : 119321069 GND : 4026927-9 J9U : 987007550715205171 LCCN : sh85066289 LNB : 000053186 NDL : 00575012 NKC : ph126560