L'obiettivo principale dell'insegnamento è di dare agli studenti le basi matematiche per comprendere e usare le più importanti tecniche di apprendimento statistico (o machine learning), sia supervisionato che non supervisionato.
L'insegnamento è progettato per fornire agli studenti una solida comprensione dei metodi avanzati utilizzati per analizzare e interpretare dati complessi e si concentrerà su classificazione, analisi serie temporali (SARIMA), e metodi simulativi (Monte Carlo).
L'insegnamento offre agli studenti la conoscenza e le competenze necessarie per affrontare sfide analitiche complesse, fornendo loro una base solida per carriere in ambiti come l'analisi dei dati, la previsione e la modellizzazione statistica.
The main objective of the teaching is to provide students with the mathematical foundations to understand and use the most important techniques of statistical learning (or machine learning), both supervised and unsupervised. The teaching is designed to provide students with a solid understanding of advanced methods used to analyze and interpret complex data, and will focus on classification, time series analysis (SARIMA), and simulation methods (Monte Carlo).
The teaching offers students the knowledge and skills necessary to tackle complex analytical challenges, providing them with a solid foundation for careers in fields such as data analysis, prediction, and statistical modeling.
Al termine dell'insegnamento si chiederà allo studente di:
- acquisire una conoscenza approfondita dei concetti fondamentali delle serie temporali, inclusi trend, stagionalità, autocorrelazione e stazionarietà.
- applicare metodi statistici e tecniche di modellizzazione per analizzare le serie temporali, inclusi modelli autoregressivi (AR), modelli a media mobile (MA), modelli ARIMA e SARIMA.
- essere in grado di utilizzare modelli di previsione per stimare valori futuri delle serie temporali e comprendere i concetti di valutazione delle prestazioni nella previsione delle serie temporali.
- acquisire una comprensione dei principi e delle applicazioni del metodo Monte Carlo per la generazione di campioni casuali e la simulazione di processi complessi.
- applicare le tecniche di simulazione Monte Carlo per risolvere problemi complessi, valutare l'incertezza e stimare distribuzioni di probabilità.
- acquisire una conoscenza dettagliata della matematica alla base delle tecniche di apprendimento più diffuse e conoscere i limiti delle varie tecniche
- comprendere e applicare algoritmi di machine learning per l'analisi di dati reali
Gli studenti dovranno essere in grado di valutare criticamente i risultati ottenuti dall'analisi e di interpretare in modo accurato e significativo i risultati ottenuti, e applicare le conoscenze e le competenze acquisite in contesti real
- Knowledge and understanding of the main learning techniques (detailed knowledge of the mathematics behind the most popular learning techniques; be acquainted of the limitations of the various techniques; awareness of the structural problem as e.r. the curse of dimensionality)
- Practical application of the acquired knowledge (ability to identify the applicability domain of the various techniques with respect of the nature of data; ability to extract information from real and simulated data by applying the learned techniques via software application or development).
Si presume che gli studenti conoscano gli argomenti trattati dai corsi standard di matematica impartiti nei corsi di ingegneria. Inoltre, è richiesta la conoscenza di concetti base di probabilità e statistica: pdf, distribuzione normale, valore atteso, varianza, covarianza.
Si richiede inoltre una conoscenza di base del software R e/o Python.
The students are assumed to know the topics covered by standard courses in mathematics given in the Bs.D. in Engineering. Furthermore, a knowledge in basic probability and statistics is required: pdf, normal, expectation, mean, variance – covariance. SVD will be explained along the course.
- Metodi Simulativi: Montecarlo, Bootstrap;
- Classificazione: regressione logistica; analisi discriminante, lineare, quadratica e di Fisher, Näive Bayes Classifier, Alberi decisionali;
- Metodi basati su nuclei e regolarizzazione: SVM, PCA, Lasso, Ridge, Pruning, Sparsità, Stabilità indotta dalla regolarizzazione;
- Metodi di ensemble: Random Forest, Boosting (ADA e Alberi);
- Serie temporali: Analisi descrittiva, predizione, decomposizione, modelli stocastici (SARIMA e sottomodelli).
GENERALITIES ON DATA REPRESENTATION.
Metric and topological spaces. Coordinatization. Curse of dimensionality; The Law of Large Numbers; the Geometry of High Dimensions: properties of the Unit Ball; Generating Points Uniformly at Random from a Ball; Gaussians in High Dimension; Random Projection and Johnson-Lindenstrauss Lemma.
STATISTICAL LEARNING
What Is Statistical Learning? Why Estimate f? How Do We Estimate f? The Trade-Off Between Prediction Accuracy and Model Interpretability. Supervised Versus Unsupervised Learning. Regression Versus Classification Problems. Assessing Model Accuracy. Measuring the Quality of Fit. The Bias-Variance Trade-Off.
LINEAR REGRESSION
Simple Linear Regression. Multiple Linear Regression.
CLASSIFICATION
An Overview of Classification. Logistic Regression. Multiple Logistic Regression. Logistic Regression for >2 Response Classes. Linear Discriminant Analysis. Quadratic Discriminant Analysis. Comparison of Classification Methods. K-Nearest Neighbours.
RESAMPLING METHODS
Cross-Validation. Leave-One-Out Cross-Validation. k-Fold Cross-Validation. Cross-Validation on Classification Problems. The Bootstrap. Mathematical justification of these methods.
TREE-BASED METHODS
The Basics of Decision Trees. Regression Trees. Classification Trees. Advantages and Disadvantages of Trees. Bagging, Random Forests, Boosting.
SUPPORT VECTOR MACHINES. Classification Using a Separating Hyperplane. The Maximal Margin Classifier. Construction of the Maximal Margin Classifier. The Non-separable Case. Support Vector Classifiers. Support Vector Machines. SVMs with More than Two Classes. OVO and OVA. Relationship to Logistic Regression. Kernel Methods. Geometrical interpretation via Segre embedding.
UNSUPERVISED LEARNING. SVD. Principal Components Analysis. Independent component analysis. Multidimensional Scaling (MDS) as an optimization problem.
Verranno impartite lezioni e esercitazioni. Mediamente, 3 ore di lezioni a settimana più un'ora e mezza di esercitazioni. Durante le lezioni si farà uso di lucidi e note scritte a mano (su tablet). Occasionalmente si farà anche uso della lavagna. Per meglio comprendere molti dei concetti e/o modelli, si farà ricorso all'uso del computer per simulazioni o per mostrare le analisi su dataset. I linguaggi usati saranno per la maggior parte R (serie temporali, e Monte Carlo) e Python (machine learning). Gli script usati durante le lezioni faranno parte del materiale didattico dato agli studenti.
Lessons, exercise classes and laboratory sessions will be given. There will be three hours of lesson per week plus 1.5 one hour and half of exercises / further lessons. These latter are split into two group: one for mathematical engineering and the other for software enngineering.
An Introduction to Statistical Learning with Applications in R, first edition
Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani
New York Springer, ISBN 1461471370
http://www-bcf.usc.edu/~gareth/ISL/
Mathematics for machine learning, first edition
Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong.
Cambridge University Press, 2020, ISBN 110845514X
https://mml-book.github.io/
Forecasting: principles and practice, third edition
Rob J Hyndman and George Athanasopoulos
https://otexts.com/fpp3/
Introductory Time Series with R, first edition
Paul S.P. Cowpertwait and Andrew V. Metcalfe
New York Springer, ISBN 978-0-387-88697-8
Dataset disponibili su https://github.com/prabeshdhakal/Introductory-Time-Series-with-R-Datasets
Introducing Monte Carlo Methods with R
Christian Robert, George Casella
https://link.springer.com/book/10.1007/978-1-4419-1576-4
Argomenti avanzati per approfondimenti
Data Science and Machine Learning: Mathematical and Statistical Methods, first edition
Dirk P. Kroese, Zdravko I. Botev, Thomas Taimre, Radislav Vaisman
CRC Press, 2019, ISBN 9781138492530
https://people.smp.uq.edu.au/DirkKroese/DSML/
An Introduction to Statistical Learning
with Applications in R
Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani
https://www.amazon.it/Introduction-Statistical-Learning-Applications/dp/1461471370/ref=sr_1_1?ie=UTF8&qid=1474898531&sr=8-1&keywords=An+Introduction+to+Statistical+Learning+with+Applications+in+R
freely available at
http://www-bcf.usc.edu/~gareth/ISL/
Slides; Libro di testo; Esercitazioni di laboratorio;
Lecture slides; Text book; Lab exercises;
Modalità di esame: Prova orale obbligatoria; Elaborato scritto individuale;
Exam: Compulsory oral exam; Individual essay;
...
L'obiettivo dell'esame è quello di testare la conoscenza del candidato sugli argomenti inseriti nel programma, la conoscenza dettagliata della matematica alla base delle tecniche di apprendimento più diffuse, i loro limiti, e di testare le capacità nell'analisi dei dati utilizzando i modelli illustrati a lezione dimostrando di saper determinare il dominio di applicabilità delle varie tecniche rispetto alla natura dei dati.
La votazione totale sarà di 15 punti assegnabili per la parte di machine learning, e 15 punti per serie storiche e Monte Carlo
Per ognuna delle due parti, è possibile sostenere l'esame in due modalità
MODALITA' 1
L'esame consiste in due parti: in primo luogo il candidato scriverà una tesina sull'analisi di un set di dati eseguita utilizzando le metodologie presentate a lezione. Lo studente è libero di usare il software che preferisce: per esempio Orange, R, Matlab, Rapidminer, Python, C++ ecc. La tesina va caricata sul portale del corso, almeno una settimana prima della data ufficiale dell'esame che si vuole sostenere.
Lo studente presenta la tesina in una prova orale durante la quale il docente porrà domande anche sugli aspetti teorici dei metodi utilizzati. Sul sito web verranno forniti esempi di lavoro degli anni precedenti. Non sono previsti lavori di gruppo o consegne intermedie per le tesine. Un massimo di 7.5 punti su 15 sono assegnabili al lavoro svolto nella tesina, mentre gli altri 7.5 sono assegnabili in base alle conoscenze teoriche.
MODALITA' 2
L'esame consiste in una prova orale in cui, oltre agli aspetti teorici, possono essere discussi anche gli script fatti durante le esercitazioni. Un massimo di 3 punti su 15 sono assegnabili alla conoscenza degli script, mentre gli altri 12 sono assegnabili in base alle conoscenze teoriche.
Gli studenti e le studentesse con disabilità o con Disturbi Specifici di Apprendimento (DSA), oltre alla segnalazione tramite procedura informatizzata, sono invitati a comunicare anche direttamente al/la docente titolare dell'insegnamento, con un preavviso non inferiore ad una settimana dall'avvio della sessione d'esame, gli strumenti compensativi concordati con l'Unità Special Needs, al fine di permettere al/la docente la declinazione più idonea in riferimento alla specifica tipologia di esame.
Exam: Compulsory oral exam; Individual essay;
The goal of the exam is to test the knowledge of the candidate about the topics included in the official program and to test their skills in analysing data using the methods explained in the course.
The exam consists in two parts: first the candidate will write a technical relation "tesina" on the analysis of a data set performed by using the methods taught in the course. This will be software independent i.e. one can use Orange, R, Matlab, Rapidminer, Python, C++ etc. according to their knowledge or willingness.
Once the "tesina" is approved by the professor, then the student is allowed to present it in an oral exam (about 20.min) during which the professor will also ask questions on the theoretical aspects of the methods used in the tesina.
Sample work from the previous years will be provided on the website.
CAVEAT: students following this course as a submodule of Statistical Models will give the exam according to the rules fixed thereby.
In addition to the message sent by the online system, students with disabilities or Specific Learning Disorders (SLD) are invited to directly inform the professor in charge of the course about the special arrangements for the exam that have been agreed with the Special Needs Unit. The professor has to be informed at least one week before the beginning of the examination session in order to provide students with the most suitable arrangements for each specific type of exam.