Teoria matematică a comunicării (articol)

„ A  Mathematical Theory of Communication ” este un articol publicat de Claude Shannon în 1948 în jurnalul abstract al companiei americane de telefonie „Bell System” [1] și l-a făcut celebru în întreaga lume. Conține un număr mare de idei inovatoare și fructuoase, această lucrare a inițiat numeroase studii științifice în întreaga lume care continuă până în zilele noastre, punând bazele dezvoltării metodelor de prelucrare, transmitere și stocare a informațiilor.

Despre autor

Claude Elwood Shannon este un matematician și inginer american , fondator  al teoriei informației , autor a multor cărți și articole despre cibernetică .

Istorie

Însuși conceptul de teoria informației a apărut cu mult înainte de publicarea acestui articol. Mulți autori au pus bazele unei noi teorii cu munca lor. De exemplu, în același jurnal al Bell System din 1924, exista o publicație Nyquist care conținea unele dintre prevederile care stau la baza acestui articol [2] .

Shannon nu credea că face o descoperire când a publicat-o. S-a bazat foarte mult pe experiența predecesorilor săi; chiar la începutul articolului, el a scris că „Unele dintre punctele principale ale acestei teorii se găsesc în lucrările importante ale lui Nyquist și Hartley . În acest articol, vom extinde teoria pentru a include o serie de factori noi, în special influența zgomotului în canal.”

Cuprins

Shannon a generalizat ideile lui Hartley folosind conceptul de „informație” conținută în mesajele transmise printr-un canal de comunicare. El nu explică conceptul în sine, menționează doar că mesajele pot avea un anumit „sens”, adică se referă la un sistem care are propria sa esență fizică sau speculativă. De asemenea, a început să ia în considerare seturi continue de mesaje, nu doar finite. Munca sa a făcut posibilă rezolvarea principalelor probleme ale teoriei informaţiei: codificarea, transmiterea mesajelor şi eliminarea redundanţei; a fost investigată și imunitatea la zgomot .

Cartea introduce funcția logaritmică ca măsură a informațiilor și arată comoditatea acesteia:

1. Este practic convenabil. Parametrii importanți în aplicațiile de inginerie - cum ar fi timpul, lățimea de bandă, numărul de comutatoare și așa mai departe - se schimbă de obicei liniar pe măsură ce numărul de posibilități se modifică logaritmic. De exemplu, adăugarea unui comutator dublează numărul de stări posibile ale grupului lor, crescând cu 1 logaritmul de bază 2. Dublarea timpului are ca rezultat o creștere pătratică a numărului de mesaje sau dublarea logaritmului acestora și așa mai departe.
2. Este aproape de ideea noastră intuitivă despre o astfel de măsură. Acest lucru este strâns legat de punctul anterior, deoarece măsurăm intuitiv cantitățile comparându-le liniar cu standardele. Așadar, ni se pare că de două ori mai multe informații pot fi plasate pe două carduri perforate, iar de două ori mai multe informații pot fi transmise prin două canale identice.
3. Este convenabil din punct de vedere matematic. Multe treceri la limită sunt simple în logaritmi, în timp ce în ceea ce privește numărul de opțiuni sunt destul de netriviale.C. Shannon [3]

De asemenea, este introdus conceptul de sistem de comunicație generalizat, constând dintr-o sursă de informații, un transmițător, un canal, un receptor și o destinație. Shannon împarte toate sistemele în discrete, continue și mixte.

Influență asupra diferitelor domenii ale științei

[2] La mult timp după apariția sa, contrar credinței populare, opera lui Shannon a fost aproape necunoscută. Iată ce scrie academicianul A.N. Kolmogorov , de exemplu, despre asta :

— Îmi amintesc că la Congresul Internațional al Matematicienilor de la Amsterdam (1954), colegii mei americani, specialiști în teoria probabilităților, au considerat interesul meu pentru opera lui Shannon oarecum exagerat, deoarece este mai mult tehnică decât matematică.A. Kolmogorov [4]

Dar treptat, oamenii de știință din diverse domenii ale științei au început să manifeste tot mai mult interes pentru articol. Acum este dificil să numești un domeniu al cunoașterii umane în care nu ar încerca să aplice această formulă minunată într-un fel sau altul. Numărul publicațiilor a crescut, ceea ce nu a putut decât să provoace un răspuns din partea lui Shannon însuși, deoarece inițial această măsură era destinată doar problemelor aplicate pur ale tehnologiei comunicațiilor. În 1956, a publicat un scurt articol „Bandwagon”, în care îndemna cu ardoare să scrie mai modest despre teoria informației, să nu considere această teorie atotputernică și universală, să nu exagereze semnificația ei:

Foarte rar este posibil să deschizi mai multe secrete ale naturii în același timp cu aceeași cheie. Edificiul bunăstării noastre oarecum artificiale se poate prăbuși prea ușor, de îndată ce într-o zi se dovedește că, cu ajutorul câtorva cuvinte magice, precum „informație”, „entropie”, „redundanță”, este imposibil. pentru a rezolva toate problemele nerezolvate.C. Shannon [5]

Drept urmare, au apărut două concepte – „teoria informației” și „teoria transmiterii informațiilor”. Primul definește astfel de concepte fundamentale ca „cantitatea de informații” și este folosit pentru a rezolva o mare varietate de probleme din diverse ramuri ale științei. Al doilea - deja după numele său reflectă sfera adecvată a ideilor sale [6] .

Odată cu dezvoltarea teoriei transmiterii informațiilor, ei au început să se confrunte cu problema găsirii unor metode fiabile de codificare și decodare. Acest lucru a condus la apariția unei noi secțiuni mari a teoriei transmiterii informațiilor - teoria codificării. Știm că, în primul rând, concluzia importantă care a rezultat din teoria informației a lui Shannon a fost că construirea unor canale prea bune este o risipă; este mai economic să folosești codificare. În al doilea rând, datorită faptului că teorema principală de codare a lui Shannon nu este constructivă, adică doar dovedește existența unui cod optim de corectare a erorilor care asigură potrivirea maximă a semnalului cu canalul, doar justifică posibilitatea fundamentală de construire a corectării erorilor. coduri care asigură transmisia ideală, dar nu indică metoda de construire a acestora. Ca urmare, teoria lui Shannon a mobilizat eforturile oamenilor de știință de a dezvolta coduri specifice. [7]

În anii 1950, s-a depus mult efort în încercările de a construi în mod explicit clase de coduri pentru a atinge probabilitatea de eroare arbitrar mică promisă, dar rezultatele au fost slabe. În următorul deceniu, s-a acordat mai puțină atenție acestei probleme fascinante; în schimb, cercetătorii de cod au lansat un atac susținut pe două fronturi principale:

• prima direcție a fost de natură pur algebrică și a fost considerată în principal coduri bloc ( liniare ).
• A doua linie de cercetare privind codificarea a fost de natură probabilistică. Aceste studii au fost asociate încercărilor de a înțelege codificarea și decodificarea din punct de vedere probabilistic, iar aceste încercări au dus la apariția decodării secvenţiale.

În decodificarea secvenţială, este introdusă o clasă de coduri non-bloc de lungime infinită, care pot fi descrise printr-un arbore şi decodificate folosind algoritmi de căutare arbore. Cele mai utile coduri arborescente sunt codurile de structură fină cunoscute sub numele de coduri convoluționale [8] .

Tot în anii șaptezeci, din cauza dificultăților tehnice care au apărut, teoria algoritmilor a început să se dezvolte activ. A fost necesar să se dezvolte algoritmi de comprimare a datelor de transmis. Ulterior, au început să fie dezvoltați algoritmi pentru comprimarea datelor din băncile de informații, comprimarea imaginilor pentru transmisie prin cablu coaxial și altele.

Timpul prezent

Astăzi, teoria transmiterii informației  este o teorie complexă, în principal matematică, care include descrierea și evaluarea metodelor de extragere, transmitere, stocare și clasificare a informațiilor . Constă din teoria codificării, algoritmi și multe altele.

• S-au făcut progrese mari în dezvoltarea teoriei codificării. Au apărut multe coduri diferite de corectare a erorilor, care diferă unele de altele prin bază, distanță, redundanță, structură, funcționalitate, eficiență energetică, proprietăți de corelare, algoritmi de codificare și decodare și forma spectrului de frecvență (vezi Codarea de corectare a zgomotului ) .
• În prezent, recomandările practice bazate pe teoria algoritmilor au mare succes în proiectarea și dezvoltarea sistemelor software [9] .

Articolul în sine rămâne în continuare relevant, fiind fundamental pentru multe lucrări.

Literatură

• Articolul original: Shannon CE A Mathematical Theory of Communication  (engleză)  // Bell System Technical Journal  : journal. - 1948. - Vol. 27. - P. 379-423.
• Traducere rusă: Shannon K. E. Teoria matematică a comunicării // Lucrări despre teoria informației și cibernetică / Per. S. Karpova. — M .: IIL , 1963. — 830 p.

Link -uri

1. ↑ Shannon, 1948 .
2. ↑ 1 2 Nyquist, H. Anumiți factori care afectează viteza telegrafului  // Bell System Technical  Journal : jurnal. - 1924. - Vol. 3 . — P. 22:324-346 .
3. ↑ Shannon, 1963 , p. 243-322.
4. ↑ Shannon, 1963 , p. 5.
5. ↑ Shannon K. E. „ Bandwagon Arhivat 15 aprilie 2012 la Wayback Machine ”
6. ↑ Doctor în Fizică și Matematică R. L. Dobrushin, Ph.D. n. B. S. Tsybakov „ Teoria transmiterii informațiilor ” Copie de arhivă din 15 februarie 2010 la Wayback Machine , în colecția „Buletinul Academiei de Științe a URSS”. - 1976, p. 76-81
7. ↑ Kuzmin I. V. „ Fundamentele teoriei și codificării informațiilor  (link inaccesibil) ”, 1986 - 240 p.
8. ↑ Kinegin S. V. „ Istoricul codificării care controlează erorile Copie arhivată din 13 ianuarie 2012 la Wayback Machine ”
9. ↑ Eremeev F. „ Teoria algoritmilor Arhivat 21 noiembrie 2012 la Wayback Machine ”

Dicționare și enciclopedii	mare chinezesc Britannica (online)