Insegnamento della Laurea Magistrale in Ingegneria del Cinema e dei Mezzi di Comunicazione e dell'orientamento Grafica e Multimedia della Laurea Magistrale in Ingegneria Informatica.
In questo corso vengono ripresi e approfonditi alcuni argomenti di Elaborazione e Trasmissione di Informazioni Multimediali e di Teoria ed Elaborazione dei Segnali per fornire allo studente gli strumenti teorico-pratici per il trattamento digitale dell’audio nei vari contesti della produzione e dell’analisi di materiale multimediale.
The course belongs to the Master of Science in Cinema and Media Engineering and to the set of multimedia classes of the Master of Science in Computer Engineering.
The course will analyse in detail some of the topics previously addressed by the courses of Processing and Transmission of Multimedia Information and Signal Theory, and will focus on the fundamentals of coding, compression, processing, analysis and synthesis of digital audio signals.
Conoscenza e capacità di comprensione
- Conoscenza delle tecniche di rappresentazione digitale del segnale audio; capacità di analizzare e calcolare i parametri caratterizzanti delle varie tipologie di segnali audio sapendo valutare i vantaggi dell'impiego di ciascuna tecnica in differenti contesti.
- Conoscenza delle fondamentali nozioni di psicoacustica per la comprensione delle tecniche di elaborazione e analisi del suono nel dominio del tempo e della frequenza.
- Conoscenza degli algoritmi e standard di codifica e compressione del segnale vocale e audio (standard ITU, MPEG, Dolby); capacità di utilizzare, modificare e configurare in modo appropriato i diversi standard in funzione dei vari scenari applicativi.
- Conoscenza delle tecnologie per la sintesi e modellizzazione dei segnali audio ivi compresa la descrizione dell'audio sintetico e partiture musicali.
- Conoscenza delle principali metodologie e pratiche per l’editing del segnale audio digitale nel contesto della produzione di materiale multimediale
Capacità di applicare conoscenza e comprensione
- Capacità di applicare filtri di elaborazione su segnali audio digitali attraverso programmi di calcolo numerici o linguaggi di programmazione.
- Capacità di applicare le tecniche di elaborazione dell’audio per la creazione di effetti audio digitali.
- Comprensione dei fattori di merito nella scelta e progettazione di un codificatore audio e voce; capacità di affrontare le principali questioni legate all'utilizzo di diversi formati per contenuti multimediali.
- Capacità di applicare le tecniche di editing non lineare per la gestione e la produzione di contributi audio in ambito multimediale
- Learning digital audio signal coding techniques; being able to analyse and extract the fundamental parameters that characterise different classes of audio signals with the ability to evaluate advantages and drawbacks of each technique in different contexts.
- Learning fundamentals of psychoacustics for the understanding of frequency- and time-domain sound processing techniques.
- Being able of processing audio signals with digital filters using numerical computing tools and programming languages.
- Learning speech and audio compression standards (ITU, MPEG, Dolby); being able of configuring and customizing different algorithms as a function of the application scenario.
- Learning how to design and assess audio and speech codecs; being able to choose the appropriate multimedia format in different contexts.
- Being able apply digital audio effects and 3D virtualization to digital audio samples.
- Learning sound synthesis and modelling techniques including synthetic audio and musical scores.
- Learning audio editing techniques to be able to process and produce audio material in the media industry.
Conoscenze di base di teoria ed elaborazione dei segnali digitali: filtri numerici, trasformata di Fourier, analisi dei segnali nel dominio del tempo e della frequenza. Conoscenza di base di linguaggi di calcolo numerico come Matlab o Octave, conoscenza avanzata dei linguaggi di programmazione (linguaggio C preferibilmente) per lo studio dei codificatori/decodificatori audio e lo sviluppo di software per l'elaborazione dell'audio digitale.
Basic knowledge of digital signal processing theory: digital filters, Fourier transform, time- and frequency-domain signal analysis. Advanced knowledge of programming languages (C language preferably) for the implementation of digital audio effects and the analysis of standard audio codecs.
* Il suono come segnale: caratteristiche fondamentali e psicoacustica. (6h)
-- Caratteristiche fisiche (Intensità e frequenza) in relazione a caratteristiche percettive (volume, altezza e timbro) di un suono
-- Evoluzione temporale dei suoni e curve ADSR (attacco, decadimento, sostegno e rilascio)
-- Localizzazione delle sorgenti sonore e spazializzazione
* La rappresentazione digitale del segnale audio. (6h)
-- Quantizzazione e rapporto segnale rumore (SNR)
-- Errore di quantizzazione, distorsione armonica, dithering, range dinamico, clipping e aliasing
-- Quantizzazione non uniforme (log-PCM) e quantizzazione differenziale (DPCM)
* Tecniche di sintesi e di editing di segnali audio. (6h)
-- Oscillatore digitale e sintesi wavetable
-- Sintesi additiva e sottrattiva
-- Modulazione in ampiezza ed in frequenza per la sintesi audio
* Tecniche di produzione audio (18h)
- Principi di base della produzione audioe del mixaggio
- Il mixer virtuale: digital audio workstation (DAW)
- Controllo timbrico e controllo della gamma dinamica
- Effettistica e ambienza
- La colonna sonora cinematografica
* Analisi ed elaborazione segnale audio: tecniche nel dominio del tempo e della frequenza. (9h)
-- Ripasso su trasformata di Fourier digitale (DFT)
-- Trasformata di Fourier digitale “a breve termine” e trade-off risoluzione tempo-frequenza
* Tecniche e standard di codifica digitale del segnale vocale. (9h)
-- Caratteristiche del segnale vocale
-- Modello di produzione del segnale vocale
-- Il modello basato su predizione lineare (LPC) e stima dei parametri
-- Analisi del residuo di predizione: modellazione del pitch e del segnale di eccitazione (CELP)
* Tecniche e standard di codifica digitale del segnale audio. (9h)
-- Introduzione alla codifica audio lossy e alla valutazione della qualità audio
-- Modello di codificatore audio percettivo secondo lo standard MPEG
-- Definizione delle soglie di mascheramento ed entropia percettiva
-- Tecniche di analisi e codifica audio nel dominio della frequenza: filtri a sottobande (PQMF) e trasformate (MDCT)
-- Descrizione e analisi degli standard MPEG 1 L-III (MP3) ed MPEG 4 (AAC)
* The audio signal: physical characteristics and fundamentals of psychoacoustics (6h)
-- Intensity, frequency, loudness, pitch and timbre
-- Temporal evolution and ADSR curve
-- Sound localization and spatialization
* Digital representation of the audio signal. (6h)
-- Quantization and signal to noise ratio (SNR)
-- Quantization error, harmonic distortion, dithering, dynamic range, clipping, and aliasing
-- Non uniform quantization (log-PCM) and differential quantization (DPCM)
* Sound editing and synthesis techniques. (6h)
-- Digital oscillator and wavetable synthesis
-- Additive and subtractive syntehsis
-- Amplitude and frequency modulation
* Analysis and processing of audio signal in the time and frequency domain. (9h)
-- Review of the digital Fourier transform (DFT)
-- Short-term DFT and time-frequency trade-off
* Techniques and standard for speech coding. (9h)
-- Characteristics of the speech signal
-- Speech signal production model
-- Linear prediction model and parameter estimation (LPC)
-- Prediction residual analysis: pitch and excitation models (CELP)
* Tecniques and standards for audio coding. (9h)
-- Lossy audio coding and audio quality evaluation
-- MPEG model of the perceptual audio codec
-- Masking thresholds and perceptual entropy
-- Frequency domain audio coding by means of subband filters (PQMF) and transforms (MDCT)
-- MPEG 1 L-III (MP3) and MPEG 4 (AAC) standards
Sono previste 5 diverse esercitazioni sperimentali in laboratorio (15h) che riguardano l'implementazione delle tecniche di codifica, analisi, sintesi ed elaborazione dell'audio digitale illustrate a lezione tramite l'utilizzo di linguaggi di programmazione e l'utilizzo di un software di mixing/editing audio. In particolare gli argomenti oggetto di pratica in laboratorio riguardano: i) il progetto e la realizzazione di un quantizzatore digitale per l’audio, ii) l’implementazione di un modello di sintesi audio FM, iii) la realizzazione di un vocoder per l’analisi e il morphing del segnale vocale, iv) la creazione di un codificatore audio mp3 basato sull’analisi psicoacustica del segnale audio, v) la sperimentazione tramite piattaforme di audio mixing/editing.
xperimental laboratories focus on practical application of most of the technologies presented in the course by means of programming languages such as Matlab. Under the guidance of the instructor the students experiment with: i) design and implementation of a digital quantizer, ii) implementation of FM audio synthesis, iii) coding of a speech vocoder for analysis and morphing of the speech signal, iv) coding of an mp3 perceptual audio coder, v) audio editing.
Il testo di riferimento, che copre ad alto livello la quasi totalità degli argomenti presentati a lezione è "V. Lombardo e A.Valle, Audio e Multimedia, Apogeo". Tramite il portale della didattica viene messo a disposizione ulteriore materiale didattico per lo studio: copie elettroniche dei lucidi presentati in aula e degli appunti del docente, testi e riferimenti bibliografici integrativi, codice utilizzato a lezione e nei laboratori, esempi di temi d’esame.
The main textbook that covers part of the content of the course is "V. Lombardo e A.Valle, Audio e Multimedia 2ed, Apogeo". In addition, on the course web site the teacher will make available other material: handouts, additional texts, source code, final exam examples.
Modalità di esame: Prova scritta (in aula); Prova orale facoltativa; Elaborato progettuale in gruppo;
Exam: Written test; Optional oral exam; Group project;
...
L'esame finale mira a verificare l'acquisizione delle conoscenze e delle capacità obiettivo dell'insegnamento tramite una prova scritta, una attività progettuale a gruppi e un orale facoltativo a discrezione del docente .
La prova scritta vale fino a 25/30 e consiste prevalentemente in domande a risposta aperta, circa 10, relative a tutti gli argomenti delle lezioni e dei laboratori. La valutazione dell'elaborato e viene fatta considerando a) la correttezza delle risposte, b) la pertinenza delle informazioni fornite, c) la capacità di rispondere in modo chiaro, preciso e razionale, motivando adeguatamente le argomentazioni prodotte.
L'elaborato comprende anche la richiesta di risolvere uno o due problemi per verificare la capacità di analizzare situazioni pratiche e applicare le conoscenze in contesti d'uso particolari vincolati da singolari specifiche tecniche.
Il tempo a disposizione dello studente per la prova scritta è di 2 ore e non è possibile consultare materiale didattico né appunti o altri testi. Lo studente può utilizzare soltanto fogli protocollo che saranno vidimati dal docente dopo che lo studente avrà apposto il proprio nome e la data dello scritto.
L'attività progettuale riguarda la realizzazione di un progetto di mixing audio cinematografico parziale proposto dal docente che vale fino a 6/30, deve essere svolta in gruppi da due/tre persone ed è da consegnarsi e discutere entro il primo appello d'esame.
Il progetto costituisce un ulteriore elemento per valutare le abilità dello studente nel risolvere problemi in contesti nuovi e più ampi rispetto ai casi specifici analizzati nel corso dell'insegnamento, e verificarne l'autonomia nell'apprendere le nuove conoscenze necessarie.
L'esame prevede inoltre una discussione orale della prova scritta, durante la quale il docente può richiedere di approfondire alcuni argomenti trattati nel corso allo scopo di accertare ed approfondire le conoscenze dello studente.
Il voto finale è composto dalla somma della valutazione della prova scritta e dell'attività progettuale a cui può essere aggiunto il contributo della discussione orale che può far variare il voto finale sia in positivo (per un massimo di tre punti) sia in negativo. Di norma la discussione orale dell’esame va sostenuta nell’appello in cui si è superato lo scritto.
L'esame è considerato superato se lo studente raggiunge la sufficienza, 6/10, in entrambe le prove, scritta e progettuale. Il voto finale consiste nella somma dei punteggi più l'eventuale variazione determinata dalla prova orale.
L’esito della prova sarà comunicato agli studenti tramite un avviso sul portale della didattica, tipicamente entro due/tre giorni dallo svolgimento della prova scritta. Gli studenti potranno visionare il compito e la relativa valutazione durante un incontro generale la cui data verrà fissata di volta in volta e comunicata contestualmente all'esito della prova.
Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.
Exam: Written test; Optional oral exam; Group project;
The final exam aims at assessing the acquisition of the learning outcomes by a written test with about ten open questions regarding both lesson topics and laboratory use cases.
Marks of the written test are expressed in thirties and the grading criteria are a) the correctness of the answers, b) the accuracy of the information provided, c) the ability to answer clearly and consistently, appropriately arguing the statements provided.
The written test will also include one or two exercises to assess the ability of the students to analyse practical scenarios and to apply their knowledge in a context defined by specific technical requirements.
The overall duration of the test is two hours. Students are not allowed to see books or notes, they can only use blank sheets and a black or blue pen.
The exam includes an oral discussion of the written test where the teacher may interview the student about some of the topics of the course to better understand how well the student has understood the course material.
The final grade is mainly determined by the evaluation of the written test with a positive or negative contribution of the outcome of the oral discussion, limited to three points.
Students, in groups of two, can realize and discuss an audio signal processing project proposed by the teacher, that is due before the date of the first final exam, and that can add a maximum of three points to the final grade.
The final project is an additional element to test the ability of the students to solve problems in new contexts and to assess their ability to extend their knowledge on their own.
In addition to the message sent by the online system, students with disabilities or Specific Learning Disorders (SLD) are invited to directly inform the professor in charge of the course about the special arrangements for the exam that have been agreed with the Special Needs Unit. The professor has to be informed at least one week before the beginning of the examination session in order to provide students with the most suitable arrangements for each specific type of exam.
Modalità di esame: Prova orale facoltativa; Prova scritta su carta con videosorveglianza dei docenti; Elaborato progettuale in gruppo;
L'esame è analogo all'esame svolto in presenza tranne il fatto che verranno utilizzati sistemi di videoconferenza sorvegliata dai docenti per lo svolgimento da remoto della prova scritta, la discussione del progetto e l'eventuale orale.
Exam: Optional oral exam; Paper-based written test with video surveillance of the teaching staff; Group project;
L'esame è analogo all'esame svolto in presenza tranne il fatto che verranno utilizzati sistemi di videoconferenza sorvegliata dai docenti per lo svolgimento da remoto della prova scritta, la discussione del progetto e l'eventuale orale.
Modalità di esame: Prova scritta (in aula); Prova orale facoltativa; Prova scritta su carta con videosorveglianza dei docenti; Elaborato progettuale in gruppo;
L'esame è analogo all'esame svolto in presenza tranne il fatto che verranno utilizzati sistemi di videoconferenza sorvegliata dai docenti per lo svolgimento da remoto della prova scritta, la discussione del progetto e l'eventuale orale.
Exam: Written test; Optional oral exam; Paper-based written test with video surveillance of the teaching staff; Group project;
L'esame è analogo all'esame svolto in presenza tranne il fatto che verranno utilizzati sistemi di videoconferenza sorvegliata dai docenti per lo svolgimento da remoto della prova scritta, la discussione del progetto e l'eventuale orale.