L’audio digitale rappresenta una componente fondamentale dei contenuti multimediali che un ingegnere del settore dell’informazione incontrerà nella sua carriera professionale perché risulta presente all’interno di quasi la totalità dei prodotti A/V e costituisce un medium di comunicazione a sé stante in ambiti quali il gaming, la radio/streaming, le installazioni multimediali e ora anche il Web.
Coerentemente con le finalità e gli obiettivi formativi del Corso di Laurea l’insegnamento si propone di fornire le conoscenze e gli strumenti teorico-pratici per il trattamento digitale del materiale audio nei vari contesti di utilizzo con particolare attenzione agli aspetti di digitalizzazione, sintesi, editing, ed elaborazione in tempo reale.
Digital audio is a fundamental part of any multimedia content that a computer science engineer will manage during their professional carrier because audio is present in almost any A/V product and it is a media on its own in scenarios such as gaming, streaming, multimedia installations and now also in the Web.
Consistently with the objectives of the degree course, this module aims at providing the student with the main theoretical and practical skills for managing digital audio material in different scenarios with a particular attention to the processes of digitalization, synthesis, editing and real-time processing.
Conoscenza e capacità di comprensione
- Conoscenza delle tecniche di rappresentazione digitale del segnale audio; capacità di analizzare e calcolare i parametri caratterizzanti delle varie tipologie di segnali audio sapendo valutare i vantaggi dell'impiego di ciascuna tecnica in differenti contesti.
- Conoscenza delle fondamentali nozioni di psicoacustica per la comprensione delle tecniche di elaborazione e analisi del suono nel dominio del tempo e della frequenza.
- Conoscenza degli algoritmi e standard di codifica e compressione del segnale vocale e audio (standard ITU, MPEG, Dolby); capacità di utilizzare, modificare e configurare in modo appropriato i diversi standard in funzione dei vari scenari applicativi.
- Conoscenza delle tecnologie per la sintesi e modellizzazione dei segnali audio ivi compresa la descrizione dell'audio sintetico e partiture musicali.
- Conoscenza delle principali metodologie e pratiche per l’editing del segnale audio digitale nel contesto della produzione di materiale multimediale
Capacità di applicare conoscenza e comprensione
- Capacità di applicare filtri di elaborazione su segnali audio digitali attraverso programmi di calcolo numerici o linguaggi di programmazione.
- Capacità di applicare le tecniche di elaborazione dell’audio per la creazione di effetti audio digitali.
- Comprensione dei fattori di merito nella scelta e progettazione di un codificatore audio e voce; capacità di affrontare le principali questioni legate all'utilizzo di diversi formati per contenuti multimediali.
- Capacità di applicare le tecniche di editing non lineare per la gestione e la produzione di contributi audio in ambito multimediale
- Learning digital audio signal coding techniques; being able to analyse and extract the fundamental parameters that characterise different classes of audio signals with the ability to evaluate advantages and drawbacks of each technique in different contexts.
- Learning fundamentals of psychoacustics for the understanding of frequency- and time-domain sound processing techniques.
- Being able of processing audio signals with digital filters using numerical computing tools and programming languages.
- Learning speech and audio compression standards (ITU, MPEG, Dolby); being able of configuring and customizing different algorithms as a function of the application scenario.
- Learning how to design and assess audio and speech codecs; being able to choose the appropriate multimedia format in different contexts.
- Being able apply digital audio effects and 3D virtualization to digital audio samples.
- Learning sound synthesis and modelling techniques including synthetic audio and musical scores.
- Learning audio editing techniques to be able to process and produce audio material in the media industry.
Conoscenze di base di teoria ed elaborazione dei segnali digitali: filtri numerici, trasformata di Fourier, analisi dei segnali nel dominio del tempo e della frequenza. Conoscenza di base del linguaggio Python (o eventualmente Matlab).
Basic knowledge of digital signal processing theory: digital filters, Fourier transform, time- and frequency-domain signal analysis. Advanced knowledge of programming languages (C language preferably) for the implementation of digital audio effects and the analysis of standard audio codecs.
# Introduzione al corso e modalità d'esame (1.5h)
# Elementi di acustica e psicoacustica (10.5h)
- Caratteristiche fisiche (Intensità e frequenza) in relazione a caratteristiche percettive (volume, altezza e timbro) di un suono
- Evoluzione temporale dei suoni e curve ADSR (attacco, decadimento, sostegno e rilascio)
- Localizzazione delle sorgenti sonore e spazializzazione
# La rappresentazione digitale del segnale audio (9h)
- Quantizzazione, rumore di quantizzazione e rapporto segnale rumore (SNR)
- Distorsione armonica, dithering, clipping e aliasing
- Quantizzazione ottima e non uniforme (e.g., log-pcm e floating point)
# Sintesi audio (12h)
- Oscillatore digitale e sintesi wavetable
- Sintesi additiva e sottrattiva
- Modulazione in ampiezza ed in frequenza per la sintesi audio
- Il suono stereo e il pan potting
# Analisi audio nel dominio tempo/frequenza (10.5h)
- Ripasso su trasformata di Fourier discreta (DFT)
- Trasformata di Fourier “a breve termine” e trade-off risoluzione tempo-frequenza
- Estrazione di feature nel dominio del tempo e della frequenza
- Modello di produzione "sorgente + filtro" e studio di Cepstrum/MFCC
# Tecniche di elaborazione del segnale audio ed effettistica (10.5h)
- Ripasso dei filtri digitali e loro applicazione
- Effettistica: flanger, chorus, etc.
- Time e pitch scaling
- Cancellazione dell'eco e riduzione del rumore
# Editing ed elementi di produzione audio (19.5h) *
- Utilizzo di un ambiente di editing audio, la digital audio workstation (DAW)
- Equalizzazione e controllo della della gamma dinamica
- Effettistica, ambienza, controllo timbrico
- Mixing e mastering per la produzione audio digitale
# Tecniche e standard di codifica digitale dell'audio (6.5h)
- Introduzione alla codifica audio lossy e alla valutazione della qualità audio
- Modello di codificatore audio percettivo secondo gli standard MPEG 1 (MP3) ed MPEG 4 (AAC)
- Definizione delle soglie di mascheramento ed entropia percettiva
* The audio signal: physical characteristics and fundamentals of psychoacoustics (6h)
-- Intensity, frequency, loudness, pitch and timbre
-- Temporal evolution and ADSR curve
-- Sound localization and spatialization
* Digital representation of the audio signal. (6h)
-- Quantization and signal to noise ratio (SNR)
-- Quantization error, harmonic distortion, dithering, dynamic range, clipping, and aliasing
-- Non uniform quantization (log-PCM) and differential quantization (DPCM)
* Sound editing and synthesis techniques. (6h)
-- Digital oscillator and wavetable synthesis
-- Additive and subtractive syntehsis
-- Amplitude and frequency modulation
* Analysis and processing of audio signal in the time and frequency domain. (9h)
-- Review of the digital Fourier transform (DFT)
-- Short-term DFT and time-frequency trade-off
* Techniques and standard for speech coding. (9h)
-- Characteristics of the speech signal
-- Speech signal production model
-- Linear prediction model and parameter estimation (LPC)
-- Prediction residual analysis: pitch and excitation models (CELP)
* Tecniques and standards for audio coding. (9h)
-- Lossy audio coding and audio quality evaluation
-- MPEG model of the perceptual audio codec
-- Masking thresholds and perceptual entropy
-- Frequency domain audio coding by means of subband filters (PQMF) and transforms (MDCT)
-- MPEG 1 L-III (MP3) and MPEG 4 (AAC) standards
Durante l'insegnamento sono previste attività con gli studenti (esercitazioni) che saranno svolte individualmente o a gruppi, su carta o tramite computer (quello proprio degli studenti). Le attività riguarderanno l'implementazione degli algoritmi descritti a lezione al fine di migliorarne la conoscenza e acquisire le competenze pratiche necessarie per l'elaborazione audio al computer.
Verranno utilizzati diversi software a seconda del contesto: Python per l'elaborazione audio, Pure Data per la sintesi e Reaper per l'editing e la produzione audio.
In merito all'attività di editing e produzione audio tramite DAW (Reaper), oltre alle esercitazioni insieme ai docenti, verrà richiesto agli studenti di svolgere un progetto a gruppi di due/tre persone al fine di stimolare l'acquisizione di capacità di progettazione di un prodotto audio multimediale e di lavoro in team. La valutazione del progetto contribuirà al voto finale.
xperimental laboratories focus on practical application of most of the technologies presented in the course by means of programming languages such as Matlab. Under the guidance of the instructor the students experiment with: i) design and implementation of a digital quantizer, ii) implementation of FM audio synthesis, iii) coding of a speech vocoder for analysis and morphing of the speech signal, iv) coding of an mp3 perceptual audio coder, v) audio editing.
Il testo di riferimento, che copre ad alto livello la quasi totalità degli argomenti presentati a lezione è "V. Lombardo e A.Valle, Audio e Multimedia, Apogeo". Tramite il portale della didattica viene messo a disposizione ulteriore materiale didattico per lo studio: copie elettroniche dei lucidi presentati in aula e degli appunti del docente, testi e riferimenti bibliografici integrativi, codice utilizzato a lezione e nelle esercitazioni, esempi di temi d’esame.
The main textbook that covers part of the content of the course is "V. Lombardo e A.Valle, Audio e Multimedia 2ed, Apogeo". In addition, on the course web site the teacher will make available other material: handouts, additional texts, source code, final exam examples.
Slides; Esercitazioni di laboratorio; Esercitazioni di laboratorio risolte; Video lezioni dell’anno corrente; Video lezioni tratte da anni precedenti; Strumenti di collaborazione tra studenti;
Lecture slides; Lab exercises; Lab exercises with solutions; Video lectures (current year); Video lectures (previous years); Student collaboration tools;
E' possibile sostenere l’esame in anticipo rispetto all’acquisizione della frequenza
You can take this exam before attending the course
Modalità di esame: Prova scritta (in aula); Prova orale facoltativa; Elaborato progettuale in gruppo;
Exam: Written test; Optional oral exam; Group project;
...
L'esame finale mira a verificare l'acquisizione delle conoscenze e delle capacità obiettivo dell'insegnamento tramite una prova scritta, una attività progettuale a gruppi e un orale facoltativo a discrezione del docente o a richiesta, motivata, dello studente.
La prova scritta vale fino a 28/30 e consiste prevalentemente in domande a risposta aperta, circa una dozzina, relative a tutti gli argomenti delle lezioni e delle esercitazioni. La valutazione dell'elaborato viene fatta considerando a) la correttezza delle risposte, b) la pertinenza delle informazioni fornite, c) la capacità di rispondere in modo chiaro, preciso e razionale, motivando adeguatamente le argomentazioni prodotte.
L'elaborato comprende anche la richiesta di risolvere uno o due problemi per verificare la capacità di analizzare situazioni pratiche e applicare le conoscenze in contesti d'uso particolari vincolati da singolari specifiche tecniche.
Il tempo a disposizione dello studente per la prova scritta è di 2 ore e non è possibile consultare materiale didattico né appunti o altri testi. Lo studente può utilizzare soltanto fogli protocollo che saranno vidimati dal docente dopo che lo studente avrà apposto il proprio nome e la data dello scritto.
L'attività progettuale riguarda la realizzazione di un progetto di editing audio proposto dal docente che vale fino a 4 punti, deve essere svolta in gruppi da due/tre persone ed è da consegnarsi e discutere entro il primo appello d'esame.
Il progetto costituisce un ulteriore elemento per valutare le abilità dello studente nel risolvere problemi in contesti nuovi e più ampi rispetto ai casi specifici analizzati nel corso dell'insegnamento, e verificarne l'autonomia nell'apprendere le nuove conoscenze necessarie.
L'esame può prevedere una discussione orale della prova scritta, durante la quale il docente può richiedere di approfondire alcuni argomenti trattati nel corso allo scopo di accertare ed approfondire le conoscenze dello studente.
Il voto finale è composto dalla somma della valutazione della prova scritta e dell'attività progettuale a cui può essere aggiunto il contributo della discussione orale che può far variare il voto finale sia in positivo (per un massimo di tre punti) sia in negativo. Di norma la discussione orale dell’esame va sostenuta nell’appello in cui si è superato lo scritto.
L'esame è considerato superato se lo studente raggiunge almeno 18 punti su 30 nella prova scritta. Il voto finale consiste nella somma dei punteggi della prova scritta e del progetto, più l'eventuale variazione determinata dalla prova orale.
L’esito della prova sarà comunicato agli studenti tramite un avviso sul portale della didattica, tipicamente entro due/tre giorni dallo svolgimento della prova scritta. Gli studenti potranno visionare il compito e la relativa valutazione durante un incontro generale la cui data verrà fissata di volta in volta e comunicata contestualmente all'esito della prova.
Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.
Exam: Written test; Optional oral exam; Group project;
The final exam aims at assessing the acquisition of the learning outcomes by a written test with about ten open questions regarding both lesson topics and laboratory use cases.
Marks of the written test are expressed in thirties and the grading criteria are a) the correctness of the answers, b) the accuracy of the information provided, c) the ability to answer clearly and consistently, appropriately arguing the statements provided.
The written test will also include one or two exercises to assess the ability of the students to analyse practical scenarios and to apply their knowledge in a context defined by specific technical requirements.
The overall duration of the test is two hours. Students are not allowed to see books or notes, they can only use blank sheets and a black or blue pen.
The exam includes an oral discussion of the written test where the teacher may interview the student about some of the topics of the course to better understand how well the student has understood the course material.
The final grade is mainly determined by the evaluation of the written test with a positive or negative contribution of the outcome of the oral discussion, limited to three points.
Students, in groups of two, can realize and discuss an audio signal processing project proposed by the teacher, that is due before the date of the first final exam, and that can add a maximum of three points to the final grade.
The final project is an additional element to test the ability of the students to solve problems in new contexts and to assess their ability to extend their knowledge on their own.
In addition to the message sent by the online system, students with disabilities or Specific Learning Disorders (SLD) are invited to directly inform the professor in charge of the course about the special arrangements for the exam that have been agreed with the Special Needs Unit. The professor has to be informed at least one week before the beginning of the examination session in order to provide students with the most suitable arrangements for each specific type of exam.