L'insegnamento si propone di fornire conoscenze di tipo ingegneristico riguardo * l'impatto che le tecnologie di comunicazione e streaming in particolare hanno sui sistemi informatici; * i principali algoritmi alla base dell'elaborazione della voce, dell'audio, delle immagini e del video in forma digitale; * le principali applicazioni di streaming, con i loro vincoli, architetture, protocolli e tecniche per controllarne la qualità del servizio sulla rete Internet; * gli aspetti pratici da considerare per portare i sistemi di comunicazione e streaming in uno scenario di produzione. Inoltre, la trattazione è orientata a consentire allo studente di acquisire le abilità di base necessarie ad affrontare in autonomia la valutazione delle scelte progettuali nell’ambito dei predetti argomenti.

Al termine dell'insegnamento lo studente * Conoscerà le principali tecniche di rappresentazione digitale dei segnali voce, audio, immagini e video. * Conoscerà le principali tecniche di streaming dei segnali digitali trasmessi su reti a pacchetto ed Internet in particolare. * Saprà valutare i pro e i contro delle principali tecniche di codifica multimediale, permettendo di scegliere le tecniche più adatte per i diversi scenari applicativi di streaming. * Saprà affrontare le principali questioni legate all'utilizzo di diversi formati per contenuti audio e video, scegliendo quelli più appropriate al caso in esame. * Saprà approfondire autonomamente il funzionamento di specifiche tecniche di codifica multimediale. * Sarà in grado di scegliere i protocolli, le architetture e le tecniche di robustezza dello streaming più adatte per i diversi scenari applicativi, anche sulla base dell’esperienza maturata durante i laboratori. * Sarà in grado di dimensionare correttamente un sistema di streaming in termini di tutti i parametri coinvolti, tecnici e non tecnici, incluso i costi economici.

Per la corretta fruizione dell’insegnamento, sono necessarie le seguenti conoscenze ed abilità: * Conoscenze di base di teoria ed elaborazione dei segnali digitali: filtri numerici, trasformata di Fourier, analisi dei segnali nel dominio del tempo e della frequenza * Conoscenze di base di reti di calcolatori: architetture e protocolli. * Conoscenze di programmazione. Per le attività di laboratorio sono richieste abilità di base nell’utilizzo del calcolatore.

* Rappresentazione digitale di voce ed audio (1,2 CFU) Introduzione alle caratteristiche del segnale vocale e audio Tecniche per codifica e compressione basate su forma d’onda (PCM) e modelli parametrici/psicoacustici Principali standard per la codifica vocale e audio (ITU e ISO) * Rappresentazione digitali di immagini e video (1,2 CFU) Introduzione alle caratteristiche dei segnali immagine/video Tecniche per compressione di immagini e video 2D e 3D Principali standard e codificatori per immagini (PNG, JPEG) e video (MPEG-x, H.26x, AV1) * Applicazioni di streaming (1,8 CFU) Introduzione alle applicazioni di streaming Tecniche per il controllo della qualità del servizio dello streaming su rete IP Architetture e protocolli per video streaming e standards relativi (HTTP streaming, DASH, RTP, WebRTC) * Uso del cloud nei sistemi di streaming e scenari applicativi reali (1,8 CFU) Architetture e sistemi per la fornitura di servizi video su larga scala (transcodifica, CDN, dimensionamento, costi) Peculiarità dei dispositivi mobili, user-generated content (UGC), applicazioni live Analisi di casi di studio (Netflix, Youtube, ecc.)

Il corso è a contenuto sia teorico sia pratico. Il corso include anche cinque attività guidate di laboratorio concernenti la codifica e lo streaming in cui saranno esemplificati alcuni concetti illustrati durante le lezioni in aula ed analizzati in modo critico alcuni servizi multimediali esistenti per valutare i pro e contro delle scelte architetturali, le funzionalità e le prestazioni, con eventuali esperimenti di integrazione in piattaforme esistenti.

Saranno disponibili copie elettroniche integrali dei lucidi presentati in aula e degli appunti del docente realizzati durante le lezioni, oltre ad esempi di temi d'esame. Tutto il materiale didattico sarà scaricabile attraverso il portale della didattica. Testi per l’approfondimento: Digital Speech: Coding for Low Bit Rate Communication Systems, A. M. Kondoz, Wiley (2nd edition), 2004, ISBN: 0470870087 Speech Coding Algorithms: Foundation and Evolution of Standardized Coders, Wai C. Chu, Wiley-Interscience (1st edition) 2003, ISBN: 0471373125 Audio e multimedia, V. Lombardo, A. Valle, Apogeo, 2005, ISBN: 8850322038 MPEG Video Compression Standard, J.L. Mitchell, D.J. Legall, C.Fogg, Springer, 2003, ISBN: 0412087715 H.264 and MPEG-4 Video Compression: Video Coding for Next Generation Multimedia, I.E.G. Richardson, Wiley, 2003, ISBN: 0470848375 The H.264 Advanced Video Compression Standard, I.E.G. Richardson, Wiley, 2010, ISBN: 978-0470516928, 2nd edition RTP: Audio and Video for the Internet, Colin Perkins, Addison Wesley, 2003, ISBN: 0672322498 Multimedia Networking: From Theory to Practice, Jenq-Neng Hwang, Cambridge University Press, 2009, ISBN: 9780521882040 Next-Generation Video Coding and Streaming, Benny Bing, Wiley, 2015, ISBN: 9781118891308 Fundamentals of Multimedia, Ze-Nian Li, Mark S. Drew, Jangchuan Liu, 2nd edition, Springer, 2014, ISBN: 9783319052892 Vision Models for High Dynamic Range and Wide Colour Gamut Imaging - Techniques and Applications, Marcelo Bertalmío, Academic Press, 2020, ISBN: 9780128138946 High Dynamic Range Video - From Acquisition to Display and Applications, Frédéric Dufaux, Patrick Le Callet, Rafal Mantiuk, Marta Mrak (Editors), Academic Press, 2016, ISBN: 9780081004128 Risorse elettroniche: biblioteca digitale IEEE e ACM.

Modalità di esame: Prova scritta (in aula);

Exam: Written test;

... L'esame finale è volto a valutare la conoscenza delle tecniche di rappresentazione dei segnali, in particolare quando fruiti in streaming, e la capacità di scegliere le tecniche più adatte nei vari scenari applicativi valutando pro e contro e dimensionando correttamente i sistemi. L’esame è solo scritto e si compone di varie parti, ognuna relativa ai macro argomenti del corso. In ogni parte sono proposti quesiti a risposta aperta e a scelta multipla, volti ad accertare sia l’acquisizione delle relative nozioni di base e avanzate, sia la capacità di analisi critica di scenari di elaborazione e comunicazione multimediale. Il tempo a disposizione dello studente per la prova scritta è di 2 ore, senza possibilità di consultare altro che la propria memoria personale. Il voto finale è calcolato tramite somma dei punti acquisiti nelle varie parti della prova scritta, e consente di raggiungere la lode. Ogni quesito a risposta aperta ha una valutazione massima che dipende dalla difficoltà del quesito stesso ed è riportata in testa al quesito. Tutti i quesiti a scelta multipla hanno la stessa valutazione massima. E' prevista una penalizzazione per errori nei quesiti a risposta multipla, esclusivamente volta ad annullare l'effetto di risposte casuali. E' possibile non rispondere a quesiti a scelta multipla, in questo caso la valutazione assegnata al quesito è pari a zero.

Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.

Modalità di esame: Prova scritta tramite PC con l'utilizzo della piattaforma di ateneo;

L'esame finale è volto a valutare la conoscenza delle tecniche di rappresentazione dei segnali, in particolare quando fruiti in streaming, e la capacità di scegliere le tecniche più adatte nei vari scenari applicativi valutando pro e contro e dimensionando correttamente i principali parametri dei sistemi proposti. L’esame è erogato tramite prova scritta con domande a risposta aperta e chiusa tramite PC utilizzando la piattaforma predisposta dall'Ateneo, e si compone di varie parti, ognuna relativa ai macro argomenti del corso. In ogni parte sono proposti quesiti a risposta aperta e a scelta multipla, volti ad accertare sia l’acquisizione delle relative nozioni di base e avanzate, sia la capacità di analisi critica di scenari di elaborazione di dati multimediali e comunicazione in streaming. Il tempo a disposizione dello studente per la prova scritta è di 2 ore, senza possibilità di consultare altro che la propria memoria personale. Il voto finale è calcolato tramite somma dei punti acquisiti nelle varie parti della prova scritta, e consente di raggiungere la lode. Ogni quesito a risposta aperta ha una valutazione massima che dipende dalla difficoltà del quesito stesso ed è riportata in testa al quesito. Tutte i quesiti a scelta multipla hanno la stessa valutazione massima. E' prevista una penalizzazione per errori nei quesiti a risposta multipla, esclusivamente volta ad annullare l'effetto di risposte casuali. E' possibile non rispondere a quesiti a scelta multipla, in questo caso la valutazione assegnata al quesito è pari a zero

Modalità di esame: Prova scritta (in aula); Prova scritta tramite PC con l'utilizzo della piattaforma di ateneo;

L'esame finale è volto a valutare la conoscenza delle tecniche di rappresentazione dei segnali, in particolare quando fruiti in streaming, e la capacità di scegliere le tecniche più adatte nei vari scenari applicativi valutando pro e contro e dimensionando correttamente i sistemi. L’esame è erogato tramite prova scritta con domande a risposta aperta e chiusa tramite PC utilizzando la piattaforma predisposta dall'Ateneo, oppure in forma solo scritta se in presenza. L’esame si compone di varie parti, ognuna relativa ai macro argomenti del corso. In ogni parte sono proposti quesiti a risposta aperta e a scelta multipla, volti ad accertare sia l’acquisizione delle relative nozioni di base e avanzate, sia la capacità di analisi critica di scenari di elaborazione e comunicazione multimediale. Il tempo a disposizione dello studente per la prova scritta è di 2 ore, senza possibilità di consultare altro che la propria memoria personale. Il voto finale è calcolato tramite somma dei punti acquisiti nelle varie parti della prova scritta, e consente di raggiungere la lode. Ogni quesito a risposta aperta ha una valutazione massima che dipende dalla difficoltà del quesito stesso ed è riportata in testa al quesito. Tutte i quesiti a scelta multipla hanno la stessa valutazione massima. E' prevista una penalizzazione per errori nei quesiti a risposta multipla, esclusivamente volta ad annullare l'effetto di risposte casuali. E' possibile non rispondere a quesiti a scelta multipla, in questo caso la valutazione assegnata al quesito è pari a zero.