La teoria dell’informazione illustrata con belinografo

# Omaggio a Claude Shannon

La teoria dell’informazione illustrata con belinografo

Claude Elwood Shannon nasce nel 1916 a Petoskey, Michigan. Muore nel 2001, dopo anni di silenzio scelto. Nel mezzo, un solo articolo cambia il modo in cui il mondo pensa alla comunicazione: A Mathematical Theory of Communication, pubblicato sul Bell System Technical Journal nel 1948.

Non è un articolo di fisica, né di matematica pura, né di ingegneria. È qualcosa di più raro: un cambio di scala concettuale.

Shannon pone una domanda che nessuno aveva formulato con quella precisione: quanto è un’informazione? Non cosa significa, non se è vera o falsa — quanto. La risposta è il bit: l’unità elementare di scelta tra due possibilità. Una lettera o l’altra. Un punto luminoso o uno scuro. Una corrente alta o bassa sul filo del telegrafo.

Questo numero di Partita Doppia usa un oggetto concreto per illustrare la teoria: il belinografo — o bélinographe, dal nome del suo inventore francese Édouard Belin, che nel 1907 trasmette per la prima volta un’immagine fissa attraverso una linea telefonica. L’apparecchio fa ruotare una fotografia su un cilindro e la scansiona punto per punto con una cellula fotoelettrica, trasformando i livelli di grigio in variazioni di corrente elettrica. All’altra estremità della linea, un secondo cilindro sincronizzato ricostruisce l’immagine su carta fotografica.

È lento, impreciso, meraviglioso.

Il belinografo non conosce Shannon — precede la sua teoria di quarant’anni. Ma Shannon conosce perfettamente il belinografo, e conosce il problema che esso pone: come trasmettere un’immagine attraverso un canale rumoroso senza perdere ciò che conta?

Shannon introduce cinque concetti della Teoria dell’informazione:

Il bit. Ogni punto dell’immagine scansionata dal belinografo corrisponde a un livello di grigio. Se l’apparecchio distingue solo bianco e nero, basta un bit per punto: 0 o 1, scuro o chiaro. Se distingue sedici livelli di grigio, ne occorrono quattro. Se ne distingue duecento cinquantasei — come un file digitale moderno — ne occorrono otto. Il bit non è una convenzione tecnica: è la misura minima dell’incertezza risolta.

L’entropia. Un’immagine uniforme — un cielo grigio, uno sfondo neutro — cambia poco da un punto all’altro. Il livello di grigio del punto successivo è quasi sempre prevedibile. L’incertezza media è bassa: l’entropia è bassa. Un’immagine ricca di dettagli — un volto, una folla, una texture — è difficile da prevedere punto per punto. L’entropia è alta. Shannon dimostra che l’entropia misura esattamente la quantità media di informazione contenuta in ogni simbolo trasmesso. Un’immagine monotona trasporta poca informazione. Un’immagine complessa ne trasporta molta — e richiede più tempo, più filo, più canale.

La capacità del canale. La linea telefonica o telegrafica utilizzata dal belinografo non è infinita. Può trasportare solo un certo numero di variazioni di corrente al secondo. Questo limite fisico — larghezza di banda, qualità del rame, distanza — fissa un tetto: la capacità del canale, misurata in bit al secondo. Shannon dimostra nel 1948 che esiste sempre una velocità massima di trasmissione affidabile, e che sotto quella soglia è sempre possibile — in linea di principio — correggere tutti gli errori introdotti dal rumore. Sopra quella soglia, non esiste codifica che tenga.

Il rumore. Sul filo del telegrafo, la corrente non viaggia indisturbata. Interferenze elettromagnetiche, variazioni termiche, difetti del cavo introducono fluttuazioni parassite che si sovrappongono al segnale utile. Il segnale ricevuto non è mai identico a quello trasmesso. Sul belinografo, questo si traduce in punti più chiari o più scuri del dovuto, in striature, in zone di degrado. È rumore — nel senso preciso di Shannon: perturbazione casuale che aumenta l’incertezza del ricevitore.

La ridondanza. La risposta al rumore non è gridare più forte: è ripetere ciò che conta, distribuire l’informazione in modo che la perdita di una parte non comprometta il tutto. Shannon dimostra che la ridondanza, usata con intelligenza, permette di avvicinarsi al limite teorico del canale senza errori. Il linguaggio naturale è ridondante per natura — circa il cinquanta per cento, secondo le sue stime sull’inglese scritto.

Le fotografie trasmesse via belinografo sfruttano le correlazioni spaziali tra punti vicini: un punto chiaro è spesso circondato da punti chiari. Questa prevedibilità locale è una forma di ridondanza — e una risorsa.

Bibliografia

  • Shannon, C. E. (1948) A Mathematical Theory of Communication. Bell System Technical Journal, vol. 27, pp. 379–423 e 623–656.
  • Shannon, C. E. (1937) A Symbolic Analysis of Relay and Switching Circuits. Tesi di master, MIT.
  • Shannon, C. E. (1949) Communication Theory of Secrecy Systems. Bell System Technical Journal.