L'insegnamento si propone di fornire conoscenze di tipo ingegneristico riguardo * l'impatto che le tecnologie di comunicazione e streaming in particolare hanno sui sistemi informatici; * i principali algoritmi alla base dell'elaborazione della voce, dell'audio, delle immagini e del video in forma digitale; * le principali applicazioni di streaming, con i loro vincoli, architetture, protocolli e tecniche per controllarne la qualità del servizio sulla rete Internet; * gli aspetti pratici da considerare per portare i sistemi di comunicazione e streaming in uno scenario di produzione. Inoltre, la trattazione è orientata a consentire allo studente di acquisire le abilità di base necessarie ad affrontare in autonomia la valutazione delle scelte progettuali nell’ambito dei predetti argomenti.

Al termine dell'insegnamento lo studente * Conoscerà le principali tecniche di rappresentazione digitale dei segnali voce, audio, immagini e video. * Conoscerà le principali tecniche di streaming dei segnali digitali trasmessi su reti a pacchetto ed Internet in particolare. * Saprà valutare i pro e i contro delle principali tecniche di codifica multimediale, permettendo di scegliere le tecniche più adatte per i diversi scenari applicativi di streaming. * Saprà affrontare le principali questioni legate all'utilizzo di diversi formati per contenuti audio e video, scegliendo quelli più appropriate al caso in esame. * Saprà approfondire autonomamente il funzionamento di specifiche tecniche di codifica multimediale. * Sarà in grado di scegliere i protocolli, le architetture e le tecniche di robustezza dello streaming più adatte per i diversi scenari applicativi, anche sulla base dell’esperienza maturata durante i laboratori. * Sarà in grado di dimensionare correttamente un sistema di streaming in termini di tutti i parametri coinvolti, tecnici e non tecnici, incluso i costi economici.

Per la corretta fruizione dell’insegnamento, sono necessarie le seguenti conoscenze ed abilità: * Conoscenze di base di teoria ed elaborazione dei segnali digitali: filtri numerici, trasformata di Fourier, analisi dei segnali nel dominio del tempo e della frequenza * Conoscenze di base di reti di calcolatori: architetture e protocolli. * Conoscenze di programmazione. Per le attività di laboratorio sono richieste abilità di base nell’utilizzo del calcolatore.

* Rappresentazione digitale di voce ed audio (1,2 CFU) Introduzione alle caratteristiche del segnale vocale e audio Tecniche per codifica e compressione basate su forma d’onda (PCM) e modelli parametrici/psicoacustici Principali standard per la codifica vocale e audio (ITU e ISO) * Rappresentazione digitali di immagini e video (1,2 CFU) Introduzione alle caratteristiche dei segnali immagine/video Tecniche per compressione di immagini e video 2D e 3D Principali standard e codificatori per immagini (PNG, JPEG) e video (MPEG-x, H.26x, AV1) * Applicazioni di streaming (1,8 CFU) Introduzione alle applicazioni di streaming Tecniche per il controllo della qualità del servizio dello streaming su rete IP Architetture e protocolli per video streaming e standards relativi (HTTP streaming, DASH, RTP, WebRTC) * Uso del cloud nei sistemi di streaming e scenari applicativi reali (1,8 CFU) Architetture e sistemi per la fornitura di servizi video su larga scala (transcodifica, CDN, dimensionamento, costi) Peculiarità dei dispositivi mobili, user-generated content (UGC), applicazioni live Analisi di casi di studio (Netflix, Youtube, ecc.)

Il corso è a contenuto teorico e pratico (quest'ultimo realizzato tramite alcune attività di laboratorio). Al fine di facilitare l'apprendimento le attività verranno svolte con particolare attenzione all'utilizzo di approcci innovativi alla didattica che, qualora utilizzati, saranno adeguatamente presentati per tempo agli studenti durante il corso, incluse le modalità con le quali tali attività contribuiranno alla valutazione finale.

Saranno disponibili copie elettroniche integrali dei lucidi presentati in aula e degli appunti del docente realizzati durante le lezioni, oltre ad esempi di temi d'esame. Tutto il materiale didattico sarà scaricabile attraverso il portale della didattica. Testi per l’approfondimento: Digital Speech: Coding for Low Bit Rate Communication Systems, A. M. Kondoz, Wiley (2nd edition), 2004, ISBN: 0470870087 Speech Coding Algorithms: Foundation and Evolution of Standardized Coders, Wai C. Chu, Wiley-Interscience (1st edition) 2003, ISBN: 0471373125 Audio e multimedia, V. Lombardo, A. Valle, Apogeo, 2005, ISBN: 8850322038 MPEG Video Compression Standard, J.L. Mitchell, D.J. Legall, C.Fogg, Springer, 2003, ISBN: 0412087715 H.264 and MPEG-4 Video Compression: Video Coding for Next Generation Multimedia, I.E.G. Richardson, Wiley, 2003, ISBN: 0470848375 The H.264 Advanced Video Compression Standard, I.E.G. Richardson, Wiley, 2010, ISBN: 978-0470516928, 2nd edition RTP: Audio and Video for the Internet, Colin Perkins, Addison Wesley, 2003, ISBN: 0672322498 Multimedia Networking: From Theory to Practice, Jenq-Neng Hwang, Cambridge University Press, 2009, ISBN: 9780521882040 Next-Generation Video Coding and Streaming, Benny Bing, Wiley, 2015, ISBN: 9781118891308 Fundamentals of Multimedia, Ze-Nian Li, Mark S. Drew, Jangchuan Liu, 2nd edition, Springer, 2014, ISBN: 9783319052892 Vision Models for High Dynamic Range and Wide Colour Gamut Imaging - Techniques and Applications, Marcelo Bertalmío, Academic Press, 2020, ISBN: 9780128138946 High Dynamic Range Video - From Acquisition to Display and Applications, Frédéric Dufaux, Patrick Le Callet, Rafal Mantiuk, Marta Mrak (Editors), Academic Press, 2016, ISBN: 9780081004128 Risorse elettroniche: biblioteca digitale IEEE e ACM.

Slides; Esercitazioni di laboratorio; Video lezioni dell’anno corrente;

Modalità di esame: Prova scritta (in aula);

Exam: Written test;

... L'esame finale è volto a valutare la conoscenza delle tecniche di rappresentazione dei segnali, in particolare quando fruiti in streaming, e la capacità di scegliere le tecniche più adatte nei vari scenari applicativi valutando pro e contro e dimensionando correttamente i sistemi. L’esame è scritto e si compone di varie parti, ognuna relativa ai macro argomenti del corso. In ogni parte sono proposti quesiti a risposta aperta e a scelta multipla, volti ad accertare sia l’acquisizione delle relative nozioni di base e avanzate, sia la capacità di analisi critica di scenari di elaborazione e comunicazione multimediale. Il tempo a disposizione dello studente per la prova scritta è di 2 ore, senza possibilità di consultare altro che la propria memoria personale. Il voto finale è calcolato tramite somma dei punti acquisiti nelle varie parti della prova scritta, e consente di raggiungere la lode. Ogni quesito a risposta aperta ha una valutazione massima che dipende dalla difficoltà del quesito stesso ed è riportata in testa al quesito. Tutti i quesiti a scelta multipla hanno la stessa valutazione massima. E' prevista una penalizzazione per errori nei soli quesiti a risposta multipla, esclusivamente volta ad annullare l'effetto di risposte casuali. E' possibile non rispondere a quesiti a scelta multipla, in questo caso la valutazione assegnata al quesito è pari a zero. Tramite la prova scritta è anche possibile raggiungere la valutazione massima (30 lode). Punti addizionali sulla valutazione finale saranno disponibili per gli studenti che avranno deciso di partecipare ad eventuali iniziative di attività di didattica innovativa così come descritte nell'organizzazione dell'insegnamento. Le regole di dettaglio della valutazione di tale parte dipenderanno dalle specifiche attività, variabili di anno in anno, e saranno prontamente comunicate agli studenti prima dell'inizio delle stesse.

Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.