L'insegnamento si propone di fornire conoscenze di tipo ingegneristico riguardo * l'impatto che le tecnologie di comunicazione e streaming in particolare hanno sui sistemi informatici; * i principali algoritmi alla base dell'elaborazione della voce, dell'audio, delle immagini e del video in forma digitale; * le principali applicazioni di streaming, con i loro vincoli, architetture, protocolli e tecniche per controllarne la qualità del servizio sulla rete Internet; * gli aspetti pratici da considerare per portare i sistemi di comunicazione e streaming in uno scenario di produzione. Inoltre, la trattazione è orientata a consentire allo studente di acquisire le abilità di base necessarie ad affrontare in autonomia la valutazione delle scelte progettuali nell’ambito dei predetti argomenti.

Al termine dell'insegnamento lo studente * Conoscerà le principali tecniche di rappresentazione digitale dei segnali voce, audio, immagini e video. * Conoscerà le principali tecniche di streaming dei segnali digitali trasmessi su reti a pacchetto ed Internet in particolare. * Saprà valutare i pro e i contro delle principali tecniche di codifica multimediale, permettendo di scegliere le tecniche più adatte per i diversi scenari applicativi di streaming. * Saprà affrontare le principali questioni legate all'utilizzo di diversi formati per contenuti audio e video, scegliendo quelli più appropriate al caso in esame. * Saprà approfondire autonomamente il funzionamento di specifiche tecniche di codifica multimediale. * Sarà in grado di scegliere i protocolli, le architetture e le tecniche di robustezza dello streaming più adatte per i diversi scenari applicativi, anche sulla base dell’esperienza maturata durante i laboratori. * Sarà in grado di dimensionare correttamente un sistema di streaming in termini di tutti i parametri coinvolti, tecnici e non tecnici, incluso i costi economici.

Per la corretta fruizione dell’insegnamento, sono necessarie le seguenti conoscenze ed abilità: * Conoscenze di base di teoria ed elaborazione dei segnali digitali: filtri numerici, trasformata di Fourier, analisi dei segnali nel dominio del tempo e della frequenza * Conoscenze di base di reti di calcolatori: architetture e protocolli. * Conoscenze di programmazione. Per le attività di laboratorio sono richieste abilità di base nell’utilizzo del calcolatore.

* Rappresentazione digitale di voce ed audio (1,2 CFU) Introduzione alle caratteristiche del segnale vocale e audio Tecniche per codifica e compressione basate su forma d’onda (PCM) e modelli parametrici/psicoacustici Principali standard per la codifica vocale e audio (ITU e ISO) * Rappresentazione digitali di immagini e video (1,2 CFU) Introduzione alle caratteristiche dei segnali immagine/video Tecniche per compressione di immagini e video 2D e 3D Principali standard e codificatori per immagini (PNG, JPEG) e video (MPEG-x, H.26x, AV1) * Applicazioni di streaming (1,8 CFU) Introduzione alle applicazioni di streaming Tecniche per il controllo della qualità del servizio dello streaming su rete IP Architetture e protocolli per video streaming e standards relativi (HTTP streaming, DASH, RTP, WebRTC) * Uso del cloud nei sistemi di streaming e scenari applicativi reali (1,8 CFU) Architetture e sistemi per la fornitura di servizi video su larga scala (transcodifica, CDN, dimensionamento, costi) Peculiarità dei dispositivi mobili, user-generated content (UGC), applicazioni live Analisi di casi di studio (Netflix, Youtube, ecc.)

Il corso è a contenuto sia teorico sia pratico. Il corso include anche cinque attività guidate di laboratorio concernenti la codifica e lo streaming in cui saranno esemplificati alcuni concetti illustrati durante le lezioni in aula ed analizzati in modo critico alcuni servizi multimediali esistenti per valutare i pro e contro delle scelte architetturali, le funzionalità e le prestazioni, con eventuali esperimenti di integrazione in piattaforme esistenti.

Saranno disponibili copie elettroniche integrali dei lucidi presentati in aula e degli appunti del docente realizzati durante le lezioni, oltre ad esempi di temi d'esame. Tutto il materiale didattico sarà scaricabile attraverso il portale della didattica. Testi per l’approfondimento: Digital Speech: Coding for Low Bit Rate Communication Systems, A. M. Kondoz, Wiley (2nd edition), 2004, ISBN: 0470870087 Speech Coding Algorithms: Foundation and Evolution of Standardized Coders, Wai C. Chu, Wiley-Interscience (1st edition) 2003, ISBN: 0471373125 Audio e multimedia, V. Lombardo, A. Valle, Apogeo, 2005, ISBN: 8850322038 MPEG Video Compression Standard, J.L. Mitchell, D.J. Legall, C.Fogg, Springer, 2003, ISBN: 0412087715 H.264 and MPEG-4 Video Compression: Video Coding for Next Generation Multimedia, I.E.G. Richardson, Wiley, 2003, ISBN: 0470848375 The H.264 Advanced Video Compression Standard, I.E.G. Richardson, Wiley, 2010, ISBN: 978-0470516928, 2nd edition RTP: Audio and Video for the Internet, Colin Perkins, Addison Wesley, 2003, ISBN: 0672322498 Multimedia Networking: From Theory to Practice, Jenq-Neng Hwang, Cambridge University Press, 2009, ISBN: 9780521882040 Next-Generation Video Coding and Streaming, Benny Bing, Wiley, 2015, ISBN: 9781118891308 Fundamentals of Multimedia, Ze-Nian Li, Mark S. Drew, Jangchuan Liu, 2nd edition, Springer, 2014, ISBN: 9783319052892 Vision Models for High Dynamic Range and Wide Colour Gamut Imaging - Techniques and Applications, Marcelo Bertalmío, Academic Press, 2020, ISBN: 9780128138946 High Dynamic Range Video - From Acquisition to Display and Applications, Frédéric Dufaux, Patrick Le Callet, Rafal Mantiuk, Marta Mrak (Editors), Academic Press, 2016, ISBN: 9780081004128 Risorse elettroniche: biblioteca digitale IEEE e ACM.

Slides; Esercitazioni di laboratorio; Video lezioni dell’anno corrente;

Modalità di esame: Prova scritta (in aula);

Exam: Written test;

... L'esame finale è volto a valutare la conoscenza delle tecniche di rappresentazione dei segnali, in particolare quando fruiti in streaming, e la capacità di scegliere le tecniche più adatte nei vari scenari applicativi valutando pro e contro e dimensionando correttamente i sistemi. L’esame è solo scritto e si compone di varie parti, ognuna relativa ai macro argomenti del corso. In ogni parte sono proposti quesiti a risposta aperta e a scelta multipla, volti ad accertare sia l’acquisizione delle relative nozioni di base e avanzate, sia la capacità di analisi critica di scenari di elaborazione e comunicazione multimediale. Il tempo a disposizione dello studente per la prova scritta è di 2 ore, senza possibilità di consultare altro che la propria memoria personale. Il voto finale è calcolato tramite somma dei punti acquisiti nelle varie parti della prova scritta, e consente di raggiungere la lode. Ogni quesito a risposta aperta ha una valutazione massima che dipende dalla difficoltà del quesito stesso ed è riportata in testa al quesito. Tutti i quesiti a scelta multipla hanno la stessa valutazione massima. E' prevista una penalizzazione per errori nei soli quesiti a risposta multipla, esclusivamente volta ad annullare l'effetto di risposte casuali. E' possibile non rispondere a quesiti a scelta multipla, in questo caso la valutazione assegnata al quesito è pari a zero. Tramite la prova scritta è anche possibile raggiungere la valutazione massima (30 lode).

Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.