La conoscenza delle principali tecniche per il trattamento di immagini e video è uno strumento fondamentale nell'ambito delle competenze multidisciplinari richieste al laureato in Ingegneria del cinema e dei mezzi di comunicazione, sia nella progettazione e realizzazione di prodotti di comunicazione multimediale che nello sviluppo di ambienti web. In questo contesto, l'insegnamento introduce le principali tecniche per l’elaborazione, l’analisi e la compressione di immagini e video digitali. L’obiettivo dell'insegnamento è quello di fornire agli studenti gli strumenti di base per l’elaborazione di segnali multimediali e di mostrare come queste tecniche possano essere impiegate per risolvere numerosi problemi pratici riguardanti il trattamento di immagini e video, incluso il miglioramento della qualità visiva, la riduzione di disturbi, la segmentazione automatica di contenuti, la compressione.
The knowledge of the main techniques for image and video processing is a fundamental tool within the multi-disciplinary competences required for a graduate in Cinema and media engineering, both in the design and realisation of multimedia communication products and in the development of web environments. In this context, the course introduces the main techniques for processing, analysis, and compression of digital images and video sequences. The aim of the course is to provide students with basic tools for multimedia signal processing and to show how these techniques can be applied to solve many practical problems in the field of image and video processing, including visual quality enhancement, noise reduction, automatic content segmentation, and compression.
Al termine dell'insegnamento gli studenti dovranno aver appreso i principali strumenti per l’elaborazione di immagini e video. Nel dettaglio:
• Conoscenza delle tecniche di acquisizione e rappresentazione delle immagini
• Conoscenza delle principali tecniche di elaborazione delle immagini nel dominio spaziale e nel dominio della frequenza
• Conoscenza delle principali tecniche di image restoration
• Conoscenza delle principali tecniche per l’analisi di immagini e video
• Conoscenza delle principali tecniche per la compressione di immagini e video
Inoltre, dovranno aver acquisito la capacità di scegliere e usare lo strumento più adeguato a seconda del tipo di applicazione, anche grazie ad esercitazioni pratiche in laboratorio. Nel dettaglio:
• Capacità di analizzare le proprietà e i requisiti di differenti tecniche per l’elaborazione di immagini e video
• Capacità di scegliere la tecnica più adeguata in funzione dei requisiti dell’applicazione
• Capacità di definire i parametri corretti a seconda dello strumento e dello scenario applicativo
• Capacità di progettare un algoritmo per estrarre informazione di tipo visuale da immagini e video combinando opportunamente strumenti esistenti
At the end of the course, students should have learnt the main processing tools for images and videos. In detail:
• Knowledge of image acquisition and representation techniques
• Knowledge of main image processing techniques in the spatial and frequency domain
• Knowledge of main image restoration techniques
• Knowledge of main image and video analysis techniques
• Knowledge of the most important data compression algorithms for images and videos
Moreover, they should acquire the ability to choose and employ the most adequate tools according to the applications, thanks to experiments performed during computer labs. In detail:
• Ability to analyze properties and requirements of different image and video processing techniques
• Ability to choose the most suitable technique according to application requirements
• Ability to define correct parameters according to chosen tools and application scenario
• Ability to design algorithms for the extraction of visual information from images and videos combining in a proper way existing tools
L'insegnamento richiede di aver correttamente appreso i concetti di matematica degli insegnamenti dei primi due anni. E' inoltre fondamentale la conoscenza delle competenze fornite nel precedente insegnamento di 'Teoria ed elaborazione dei segnali'. In particolare, si ritiene che lo studente abbia già acquisito le seguenti conoscenze: teorema del campionamento, trasformata di Fourier a tempo discreto, convoluzione circolare, DFT, sistemi LTI a tempo discreto, filtri numerici FIR e IIR. Per quanto riguarda le esercitazioni in laboratorio, è richiesta una conoscenza di base di Python.
Prerequisites of this course are a good understanding of the mathematical topics presented in the first two years, and understanding of the methodologies and techniques given during the 'Teoria ed elaborazione dei segnali' course in the first semester of the third year. Namely, the student should be already familiar with the following concepts: sampling theorem, discrete time Fourier transform, circular convolution, DFT, discrete time LTI systems, FIR and IIR digital filters. Regarding computers labs, students should already have a basic knowledge of Matlab.
Introduzione all’elaborazione delle immagini (lezioni 7.5 ore):
• acquisizione di immagini e video
• rappresentazione del colore
• richiami di teoria dei segnali
Image enhancement & restoration (lezione 13.5 ore, laboratorio 6 ore):
• trasformazioni dell’intensità
• filtraggio nel dominio dello spazio e della frequenza
• filtro a media e filtro mediano
• filtro di Wiener
Analisi di immagini e video (lezione 15 ore, laboratorio 6 ore):
• segmentazione di immagini e video
• edge detection
• reti neurali convoluzionali
Compressione (lezione 6 ore, laboratorio 6 ore):
• codifica di sorgente e quantizzazione
• trasformate
• codifica predittiva
• algoritmi di compressione per immagini e video
Introduction to image processing (lectures 7.5 hours):
• image acquisition
• color representation
• signal analysis review
Image enhancement & restoration (lectures 13.5 hours, lab 6 hours):
• intensity transformations
• spatial domain and frequency domain filtering
• mean and median filters
• Wiener filter
Image and video analysis (lectures 15 hours, lab 6 hours):
• image and video segmentation
• edge detection
• local descriptors
Compression (lectures 6 hours, lab 6 hours):
• source coding and quantization
• transforms
• predictive coding
• image and video compression algorithms
L'insegnamento prevede lezioni in aula (42 ore) ed esercitazioni in laboratorio (18 ore). Sono previsti tre laboratori sugli argomenti image enhancement & restorarion, reti neurali e compressione. I laboratori avranno una durata di circa 6 ore ciascuno nell’arco di più settimane. Durante i laboratori gli studenti implementeranno in Python gli algoritmi discussi a lezione e li verificheranno in vari scenari applicativi. Gli studenti partecipano in gruppi di massimo tre persone. Per ogni esercitazione di laboratorio il gruppo deve consegnare una relazione scritta. Le relazioni vengono valutate e concorrono a determinare il voto finale.
The course is based on lectures (42 hours) and computer labs (18 hours). Three computer labs will be organized, respectively in the areas image enhancement & restoration, image and video analysis, and compression. Each computer lab will last about 6 hours over the span of multiple weeks. During computers labs, students will implement the algorithms discussed during lectures using Matlab and will test them in different application scenarios. Students are organized in groups of no more than three people. For each computer lab, the group must write a report; reports are evaluated and concur to determine the final grade.
Le slide usate a lezione, le registrazioni delle lezioni di anni precedenti e il materiale per i laboratori sarà messo a disposizione dal docente sul portale della didattica.
Testi di riferimento:
• Image enhancement & restoration, analisi di immagini e video: R. C. González, R. E. Woods, Digital Image Processing, 4th edition, Pearson, 2018.
• Compressione di immagini e video: K. Sayood, Introduction to data compression, 3rd edition, Morgan-Kauffman, 2006.
Testi consigliati per approfondimenti:
1. Simon J. D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012.
2. Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer-Verlag New York, 2006.
Main textbooks:
• Image enhancement & restoration, image and video analysis:
o R. C. González, R. E. Woods, Digital Image Processing, 4th edition, Pearson, 2018.
• Image and video compression:
o K. Sayood, Introduction to data compression, 3rd edition, Morgan-Kauffman, 2006.
Recommended textbooks:
1. Simon J. D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, 2012.
2. Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer-Verlag New York, 2006.
Other available material includes the slides used during the lectures and the material for the computer labs. The material will be available on the web.
Slides; Esercizi; Esercizi risolti; Esercitazioni di laboratorio; Video lezioni tratte da anni precedenti;
Lecture slides; Exercises; Exercise with solutions ; Lab exercises; Video lectures (previous years);
Modalità di esame: Prova scritta (in aula); Elaborato scritto prodotto in gruppo;
Exam: Written test; Group essay;
...
L’esame finale è una prova scritta della durata di 1 ora, basata su di un test a risposta multipla (20 domande) che copre tutti gli argomenti dell'insegnamento. Il test è composto al 50% da domande teoriche per verificare il livello di conoscenza e comprensione degli argomenti trattati e al 50% da semplici esercizi per verificare la capacità degli studenti di applicare le conoscenze acquisite. Viene assegnato un punteggio positivo per ogni risposta corretta ed un punteggio negativo per ogni risposta sbagliata. Se lo studente non risponde, il punteggio assegnato è zero. Durante l’esame gli studenti non possono utilizzare libri, appunti, o dispositivi in grado di connettersi a Internet, ma solo una calcolatrice ed eventuali fogli di brutta. Esempi di prove di esame sono disponibili nel materiale didattico e la risoluzione di parte degli esercizi viene discussa durante le lezioni.
Le relazioni di laboratorio dovranno essere consegnate almeno una settimana prima della data del primo esame. La valutazione delle relazioni si basa sulla loro chiarezza, correttezza tecnica, abilità dello studente di descrivere e commentare in modo adeguato i risultati degli esperimenti. Le relazioni non devono semplicemente elencare i risultati ottenuti, ma devono dimostrare che lo studente ha compreso i concetti appresi durante l'insegnamento. Le relazioni servono anche per valutare la capacità degli studenti di valutare le prestazioni delle diverse tecniche viste a lezione e la loro capacità di applicarle correttamente. La valutazione dei laboratori sarà basata anche sull'autovalutazione degli studenti: ogni studente dovrà valutare il contributo dato dagli altri membri del proprio gruppo al raggiungimento degli obiettivi dei laboratori. L'autovalutazione dovrà essere inviata al professore con le stesse scadenze della relazione ed è obbligatoria per ottenere la valutazione dei laboratori.
Il voto finale tiene conto della somma dei punteggi acquisiti nella prova scritta (fino a 30 punti) e della valutazione delle relazioni sulle esercitazioni di laboratorio (fino a 3 punti aggiuntivi). La lode viene data per punteggi maggiori o uguali a 32. Il voto minimo per superare l'esame è 18/30.
Sebbene l'esame sia tipicamente in forma scritta, il docente si riserva la possibilità di fare un esame orale in casi particolari.
Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.
Exam: Written test; Group essay;
The final exam is in written form and consists in a 2 hours test with multiple answers (20 questions), covering all course topics. 50 % of the test consists of theoretical questions aiming at verifying the level of knowledge and understanding of course topics, while the remaining 50% of the test consists of simple exercises aiming at verifying students' ability in applying the acquired knowledge. The students receive a positive score for each correct answer and a negative score for each wrong answer. If the students do not provide an answer, the corresponding score is zero. During the written exam, students are not allowed to use any books, lecture notes, devices with an Internet connection, or any material other than a calculator.
Reports should be delivered to the course instructor at least a week before the date of the first exam. Evaluation of the reports is based on their clarity, technical correctness, ability of the students to properly describe and comment the results of the experiments. Reports should not merely list results, but demonstrate understanding of the concepts learned during the course.
The final grade depends on the sum of scores of the written exam (up to 30 points) and on the evaluation of the reports of the computer labs (up to 3 additional points). The minimum score to pass the exam is 18/30.
While the exam is typically written, the course instructor reserves the right to perform an oral examination in specific cases.
In addition to the message sent by the online system, students with disabilities or Specific Learning Disorders (SLD) are invited to directly inform the professor in charge of the course about the special arrangements for the exam that have been agreed with the Special Needs Unit. The professor has to be informed at least one week before the beginning of the examination session in order to provide students with the most suitable arrangements for each specific type of exam.