Măsurarea informației

Să considerăm următoarele: Alice și Bob au înțeles cum să transmită mesajele între 3 case din copac. Au folosit flăcări noaptea și jaluzele în cursul zilei. Apoi, un fir trăgându-l în diferite moduri. În cele din urmă, au electrizat firul pentru a trimite impulsuri electrice în timp ce ei lucrau la o metodă experimentală a unui wireless. Problema era plata echipamentului, pentru care aveau nevoie de bani. Au decis să ofere servicii contra cost. În prima zi, Alice a avut 3 noi clienți care doreau să transmită mesajele către prieteni din casuța lui Bob. Primul voia să trimtă lista de 10 monede, al doilea trimitea un cuvânt din 6 litere, iar al treilea o mână de poker. Cât de mult ar trebui să ceară? Deci, prețul mesajului trebuie să depindă de timpul pe care i-l ia lui Alice să transmită. Cum poate măsura lungimea diverselor mesaje folosind aceeași unitate de măsură? Pentru a afla, haide să jucăm un joc. Imaginează-ți că ești Bob, iar Alice vrea să-ți trimită acele mesaje, dar tot ce poți face este să răspunzi cu da sau nu la întrebările deja pregătite. Alice va răspunde trimițând o secvență de 0 sau 1, folosind metoda variației. Reamintește-ți că toate metodele lor de transmisie au implicat schimbul de diferențe. Una este reprezentată de flacăra deschisă sau un oblon deschis sau un impuls electric. Nu contează cum se manifestă, le putem numi simplu cifre binare, pentru că numerele binare iau doar una din cele doua valori, 0 sau 1. Deci, să zicem că 0 este nu și 1 este da. Provocarea ta este ca mereu să pui numărul minim de întrebări pentru a determina mesajul exact. În primul rând, să întoarcem monedele. Pentru fiecare simbol, expeditorul, Alice, se poate gândi ca la unul din cele două simboluri diferite, cap sau pajură. De câte întrebări ai nevoie pentru a determina ce a selectat ea? Întrebarea "Este cap?" ar fi suficientă. Pentru 10 aruncări care este numărul minim de întrebări? Ei bine, 10 întoarceri și o întrebare pe întoarcere înseamnă 10 întrebări sau 10 cifre binare de transmis acest mesaj. Acum, să luăm literele. Pentru fiecare simbol, expeditorul, Alice, s-ar putea gândi la selectarea unui simbol din 26 diferite. Să începem cu cel mai simplu mesaj, cel format dintr-o literă. De câte întrebări va fi nevoie? Este litera A? Este litera B? Este litera C? Este litera D? Tot așa, dar nu este numărul minim de întrebări. Cel mai bun lucru e să pui întrebările care elimină jumătate din posibilități. De exemplu, mijlocul alfabetului este între M și N. Deci, am putea întreba dacă este mai mic decât N? Dacă răspunsul e 1, da, eliminăm jumătate din posibilități și rămân doar 13. Și pentru că nu putem împărți o literă în jumătate, împărțim simbolurile posibile în seturi de câte 6, respectiv 7. Întrebăm dacă este mai mic decât G. Primim 1, ceea ce înseamnă ,,da" , și acum ne-au rămas doar 6 posibile litere. Le împărțim în două grupe și întrebăm dacă e mai mic decât D. Primim 0, ceea ce înseamnă ,,nu", lăsându-ne cu 3 litere posibile, din care alegem o parte și întrebăm dacă este D. Primim 0, adică nu este, și, în sfârșit, avem 2 posibilități. Întrebăm dacă este E. Primim răspunsul nu și, după 5 întrebări, identificăm simbolul corect, care este F. Realizăm că nu va fi nevoie să punem mai mult de 5 întrebări, deci numărul minim de întrebări este cel puțin 4, iar numărul maxim 5. În general, 2 la puterea numărului de întrebări este egal cu numărul de mesaje posibile, pe care l-am definit ca spațiu al mesajului. Deci, cum putem calcula media exactă sau numărul așteptat de întrebări , pentru spațiul de mesaj 26? Punem întrebarea inversă. 2 la ce putere va da 26, și răspunzând la astfel de întrebări, folosim funcția logaritmică în baza 2, deoarece log în baza 2 din 26 este exponentul la care trebuie ridicat 2 pentru a ne da 26. Acesta este 4,7. Deci, în medie, aproximativ 4,7 întrebări necesare minim per literă. Și, pentru că dorește să transmită un mesaj cu 6 litere, Bob se așteaptă să răspundă la minim 28,2 întrebări. Așadar, Alice va trebui să trimită cel mult 29 de cifre binare. În concluzie, hai să aplicăm această formulă pe un nou mesaj, mâna de poker. Pentru fiecare simbol, expeditorul, Alice, ar putea selecta unul din 52 de simboluri diferite și, în acest caz, numărul întrebărilor este egal cu numărul înjumătățirilor pachetului. O vom întreba pe Alice în care grămadă se află, până vom rămâne cu o carte, pe care o găsim prin 6 înjumătățiri sau întrebări, iar uneori chiar 5. Dar putem salva timp și să folosim ecuația Log în baza 2 din 52 este aproximativ 5,7, deoarece 2 la puterea 5,7 este 52. Deci, numărul minim de întrebări este, în medie, de 5,7 per carte. O mână de poker conține 5 cărți. Pentru a transmite o mână de poker sunt necesare, în medie, 28,5 întrebări. Gata! Acum avem unitatea noastră (de măsură). E bazată pe un număr minim de întrebări, pentru a defini mesajul sau înălțimea arborelui de decizie. Pentru că Alice transmite informația în cifre binare putem scurta și să numim unitatea bit, în loc de cifră binară. Deci, pentru 10 monede este nevoie de 10 biți, pentru un cuvânt din 6 litere este nevoie de 28,2 biți, iar pentru mâna de poker este nevoie de 28,5 biți. Alice decide să ceară un penny pentru fiecare bit și începe colectarea taxelor ei. Ideea a apărut în anii 1920. A fost una din cele mai abstracte probleme gândită de inginerii în comunicații. Ralph Hartley era un prolific cercetător electronist care a dezvoltat ideile lui Harry Nyquist, amândoi lucrând la Laboratoarele Bell, după Primul Război Mondial iar în 1928,Hartley a publicat un articol important intitulat "Transmiterea Informațiilor", în care a definit cuvântul de informație folosind simbolul H ca fiind egal cu de N ori log de S unde H este informația noastră, N este numărul de simboluri, indiferent dacă sunt note, litere, numere, etc. și S este numărul simbolurilor disponibile la fiecare selecție, care poate fi scrisă ca H egal cu log de S la puterea N. Hartley scrie ,,Ceea ce am făcut a fost să luăm ca măsură a informației logaritm din numărul secvențelor posibile de simboluri." Deci, informația este logaritm din spațiul mesajului; totuși, să realizăm că în această lecție am presupus că alegerea simbolului este aleatorie, simplificare convenabilă. Totuși, știm că în realitate comunicarea, ca de exemplu vorbitul, nu este întotdeauna aleatorie. Este un amestec de previzibil și surpriză. Nu aruncăm zarurile când scriem litere, și această previzibilitate conduce la economisirea semnificativă a duratei de transmitere, pentru că putem preconiza lucruri, și nu avem nevoie de atâtea întrebări de tip da sau nu pentru a le defini, dar cum putem modela formal această diferență subtilă? Această întrebare ne duce la cheia povestirii noastre. Te gândești ce ar putea fi?