The course is taught in English.

L'insegnamento è un’introduzione generale alla teoria di Shannon dei sistemi digitali. La nozione chiave di misura d’informazione per variabili casuali sia discrete sia continue è introdotta assiomaticamente e le sue (inaspettate) proprietà sono derivate in dettaglio. In particolare, i teoremi fondamentali di Shannon sono formulati illustrando come essi abbiano costituito la base di una teoria che ha trovato applicazioni in svariati campi dell’attività umana.
Il metodo seguito è principalmente volto a fornire i fondamenti assiomatici e algebrici necessari per una piena comprensione dei principi astratti della teoria dell’informazione e la ricercata matematica che interviene nella teoria dei codici correttori d’errore.

Conoscenza degli elementi di base della teoria dell'informazione
Conoscenza delle tecniche di codifica di sorgente
Conoscenza dei teoremi di Shannon
Conoscenza delle caratteristiche dei codici correttori di errore a blocco
Capacità di applicare le tecniche di codifica di sorgente
Capacità di calcolare la capacità di canali discreti e suo significato rispetto alla capacità dei canali analogici.
Capacità di analisi dei codici a blocco nelle applicazioni sia per correggere, sia per rivelare errori

Variabili casuali discrete e continue
Processi casuali discreti e continui
I sistemi lineari nel dominio del tempo e della frequenza
Nozioni di modulazioni analogiche e digitali.

Il paradigma di Shannon della comunicazione umana e artificiale; origini e motivazioni dei teoremi fondamentali della teoria dell’informazione (9 ore)
Una misura di informazione: entropia di variabili casuali discrete, entropia differenziale (4 ore)
L’informazione mutua di variabili casuali discrete e continue (2 ore)
Capacità del canale discreto, e capacità del canale Gaussiano additivo bianco (6 ore)
Teorema del data processing (2 ore)
Primo teorema di Shannon o teorema della codifica di sorgente (3 ore)
Codici a lunghezza variabile e codifica di Huffman (3 ore)
Secondo teorema di Shannon o teorema della codifica del canale discreto. Scenario applicativo (2 ore)
Codici a blocco lineari, matrice generatrice e matrice di parità. Codici sistematici e non-sistematici (2 ore)
Introduzione ai campi finiti e loro principali proprietà (4 ore)
Parametri caratterizzanti i codici, condizioni di esistenza e valutazione delle prestazioni (4 ore)
Decodifica completa e standard array (2 ore)
Codici ciclici : definizione, condizioni di esistenza, e BCH bound (3 ore)
Algoritmi di codifica sistematica e non-sistematica (1 ora)
Algoritmo GPZ di decodifica, e decodifica fino al BCH bound (3 ore)
Codici di Hamming, codici BCH, codici di Golay, codici di Reed-Solomon, e codici di Goppa (5 ore)
I codici algebro-geometrici come generalizzazione dei codici di Reed-Solomon (2 ore)
Codici rivelatori di errore (1 ora)
Una breve introduzione al cosiddetto network coding (2 ore)

I principali argomenti del corso saranno oggetto di homework e di esercitazioni in aula.

T.M. Cover, J.A. Thomas, Elements of Information theory, Wiley, 1991
J. Mac Williams, N. Sloane, The theory of error correcting codes, North-Holland, 1977
J. H van Lint, Introduction to Coding Theory, Springer, 1982
R.J. McEliece, The Theory of Information and Coding, Cambridge, 2004
M. Elia, Note di Teoria dell'Informazione (in Italiano)

L'esame scritto verterà su domande di teoria ed esercizi alcuni dei quali potranno essere nella forma di homework.