Politecnico di Torino
Politecnico di Torino
   
Login  
en
Politecnico di Torino
Anno Accademico 2013/14
02JEVOT, 02JEVNG
Information theory and codes
Corso di Laurea Magistrale in Ingegneria Delle Telecomunicazioni (Telecommunications Engineering) - Torino
Corso di Laurea Magistrale in Ingegneria Matematica - Torino
Docente Qualifica Settore Lez Es Lab Tut Anni incarico
Elia Michele ORARIO RICEVIMENTO     60 0 0 0 9
SSD CFU Attivita' formative Ambiti disciplinari
ING-INF/03 6 C - Affini o integrative Attività formative affini o integrative
Presentazione
The course is taught in English.

L'insegnamento è un’introduzione generale alla teoria di Shannon dei sistemi digitali. La nozione chiave di misura d’informazione per variabili casuali sia discrete sia continue è introdotta assiomaticamente e le sue (inaspettate) proprietà sono derivate in dettaglio. In particolare, i teoremi fondamentali di Shannon sono formulati illustrando come essi abbiano costituito la base di una teoria che ha trovato applicazioni in svariati campi dell’attività umana.
Il metodo seguito è principalmente volto a fornire i fondamenti assiomatici e algebrici necessari per una piena comprensione dei principi astratti della teoria dell’informazione e la ricercata matematica che interviene nella teoria dei codici correttori d’errore.
Risultati di apprendimento attesi
  • Conoscenza degli elementi di base della teoria dell'informazione
  • Conoscenza delle tecniche di codifica di sorgente
  • Conoscenza dei teoremi di Shannon
  • Conoscenza delle caratteristiche dei codici correttori di errore a blocco
  • Capacità di applicare le tecniche di codifica di sorgente
  • Capacità di calcolare la capacità di canali discreti e suo significato rispetto alla capacità dei canali analogici.
  • Capacità di analisi dei codici a blocco nelle applicazioni sia per correggere, sia per rivelare errori
Prerequisiti / Conoscenze pregresse
  • Variabili casuali discrete e continue
  • Processi casuali discreti e continui
  • I sistemi lineari nel dominio del tempo e della frequenza
  • Nozioni di modulazioni analogiche e digitali.
Programma
  • Il paradigma di Shannon della comunicazione umana e artificiale; origini e motivazioni dei teoremi fondamentali della teoria dell’informazione (9 ore)
  • Una misura di informazione: entropia di variabili casuali discrete, entropia differenziale (4 ore)
  • L’informazione mutua di variabili casuali discrete e continue (2 ore)
  • Capacità del canale discreto, e capacità del canale Gaussiano additivo bianco (6 ore)
  • Teorema del data processing (2 ore)
  • Primo teorema di Shannon o teorema della codifica di sorgente (3 ore)
  • Codici a lunghezza variabile e codifica di Huffman (3 ore)
  • Secondo teorema di Shannon o teorema della codifica del canale discreto. Scenario applicativo (2 ore)
  • Codici a blocco lineari, matrice generatrice e matrice di parità. Codici sistematici e non-sistematici (2 ore)
  • Introduzione ai campi finiti e loro principali proprietà (4 ore)
  • Parametri caratterizzanti i codici, condizioni di esistenza e valutazione delle prestazioni (4 ore)
  • Decodifica completa e standard array (2 ore)
  • Codici ciclici : definizione, condizioni di esistenza, e BCH bound (3 ore)
  • Algoritmi di codifica sistematica e non-sistematica (1 ora)
  • Algoritmo GPZ di decodifica, e decodifica fino al BCH bound (3 ore)
  • Codici di Hamming, codici BCH, codici di Golay, codici di Reed-Solomon, e codici di Goppa (5 ore)
  • I codici algebro-geometrici come generalizzazione dei codici di Reed-Solomon (2 ore)
  • Codici rivelatori di errore (1 ora)
  • Una breve introduzione al cosiddetto network coding (2 ore)
Organizzazione dell'insegnamento
I principali argomenti del corso saranno oggetto di homework e di esercitazioni in aula.
Testi richiesti o raccomandati: letture, dispense, altro materiale didattico
  • T.M. Cover, J.A. Thomas, Elements of Information theory, Wiley, 1991
  • J. Mac Williams, N. Sloane, The theory of error correcting codes, North-Holland, 1977
  • J. H van Lint, Introduction to Coding Theory, Springer, 1982
  • R.J. McEliece, The Theory of Information and Coding, Cambridge, 2004
  • M. Elia, Note di Teoria dell'Informazione (in Italiano)
Criteri, regole e procedure per l'esame
L'esame scritto verterà su domande di teoria ed esercizi alcuni dei quali potranno essere nella forma di homework.
Orario delle lezioni
Statistiche superamento esami

Programma definitivo per l'A.A.2013/14
Indietro



© Politecnico di Torino
Corso Duca degli Abruzzi, 24 - 10129 Torino, ITALY
WCAG 2.0 (Level AA)
Contatti