O teorie matematică a comunicării

Shannon tocmai terminase dezvoltarea teoriilor sale legate de criptografie și, prin urmare, era foarte conștient de faptul că și comunicarea umană era un amestec de aleatoriu și dependențe statistice. Literele din mesajele noastre erau evident dependente de literele anterioare într-o oarecare măsură. În 1949, el a publicat o lucrare revoluționară "Teoria Matematică a Comunicațiilor ". În aceasta, el folosește modelele Markov ca fundament pentru teoretizarea comunicării. El începe cu un exemplu-jucărie . Imaginați-vă că întâlniți un text amplu, scris într-un alfabet folosind literele A, B și C. Poate că nu știți nimic despre această limbă. Totuși, observați că A-urile par să se repete, în timp ce B-urile și C-urile nu. El arată apoi că ați putea proiecta o mașină pentru generarea unui text asemănător ca aspect, folosind un lanț Markov. El începe cu o aproximare de ordin zero, ceea ce înseamnă că noi doar selectăm independent fiecare simbol A, B sau C ales la întâmplare pentru a forma o secvență. Cu toate acestea, observați că această secvență nu arată ca originalul. El demonstrează că o puteți face ceva mai bine cu o aproximare de ordinul întâi unde literele sunt alese independent, dar în funcție de probabilitatea fiecărei litere în secvența originală. Așa este puțin mai bine, deoarece A-urile apar mai des, dar încă nu prinde prea mult din structură. Următorul pas este esențial. Apare o aproximare de ordinul doi pentru fiecare pereche de litere care poate să apară. În acest caz, avem nevoie de trei stări. Prima stare reprezintă toate perechile care încep cu A, a doua - toate perechile care încep cu B, iar a treia stare toate perechile care încep cu C. Observați că prima grupă are mai multe perechi AA, ceea ce are sens, întrucât probabilitatea condiționată a unui A după un A este mai mare în mesajul nostru original . Putem genera o secvență, folosind acest model de ordinul doi, așa cum urmează. Începem de oriunde alegând o piesă și scriem prima literă, iar apoi trecem la grupa determinată de a doua literă. Apoi alegem o nouă piesă și repetăm acest proces de nenumărate ori. Observați că această secvență începe să arate foarte asemănător cu mesajul original, deoarece acest model captează dependențele condiționale dintre litere. Dacă vrem să îmbunătățim, am putea trece la o aproximare de ordinul trei. Aceasta ia în considerare grupe de trei litere sau "trigrame". În acest caz, am avea nevoie de 9 stări. În continuare, Shannon aplică exact aceeași logică la textul în limba engleză, utilizând statistici care au fost cunoscute pentru litere, perechi, trigrame, etc. El demonstrează același progres de la alegerea aleatorie de ordin zero la secvențe de ordin unu, de ordin doi și de ordinul trei. Continuă și încearcă același lucru folosind cuvinte în loc de litere. El scrie: "the resemblance to ordinary English text "increases quite noticeably at each depth". Într-adevăr, aceste mașini au produs text lipsit de sens, deși acestea conțin aproximativ aceeași structură statistică pe care o puteți vedea în engleză. Shannon continuă să definească o măsură cantitativă a informației, deoarece își dă seama că ar trebui ținut seama de cantitatea de informație dintr-un mesaj atunci când se proiectează mașina ce va fi utilizată pentru generarea unor secvențe asemănătoare. Ceea ce ne aduce la conceptul său de entropie.