Servizi per la didattica
PORTALE DELLA DIDATTICA
01VJWNG
A.A. 2022/23
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
L'obiettivo principale del corso è di dare agli studenti le basi matematiche per comprendere e usare le più importanti tecniche di apprendimento statistico (o machine learning), sia supervisionato che non supervisionato.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Si presentano i metodi avanzati della statistica e diverse loro applicazioni.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The main objective of the course is to provide the students with the mathematical background needed to understand and utilise the most important techniques used in supervised and unsupervised statistical (machine) learning.
Modelli statistici/Apprendimento statistico (Modelli statistici)
The purpose of the course is to present advanced statistical methods, together with their applications, at an advanced undergraduate level.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
- Conoscenza e comprensione delle principali tecniche di apprendimento (conoscenza dettagliata della matematica alla base delle tecniche di apprendimento più diffuse, conoscere i limiti delle varie tecniche) - Applicazione pratica delle conoscenze acquisite (capacità di identificare il dominio di applicabilità delle varie tecniche rispetto alla natura dei dati, capacità di estrarre informazioni da dati reali e simulati applicando le tecniche apprese)
Modelli statistici/Apprendimento statistico (Modelli statistici)
Lo studente imparerà come i metodi statistici che ha studiato in teoria vengono applicati in pratica, mettendone a frutto tutte le potenzialità metodologiche.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
- Knowledge and understanding of the main learning techniques (detailed knowledge of the mathematics behind the most popular learning techniques; be acquainted of the limitations of the various techniques; awareness of the structural problem as e.r. the curse of dimensionality) - Practical application of the acquired knowledge (ability to identify the applicability domain of the various techniques with respect of the nature of data; ability to extract information from real and simulated data by applying the learned techniques via software application or development).
Modelli statistici/Apprendimento statistico (Modelli statistici)
The student will learn how to apply in practice the statistical methods s/he has studied in theory, in order to use all of their methodological potentials.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Si presume che gli studenti conoscano gli argomenti trattati dai corsi standard di matematica impartiti neli corsi di ingegneria. Inoltre, è richiesta la conoscenza di concetti base di probabilità e statistica: pdf, distribuzione normale, valore atteso, varianza, covarianza.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Una preparazione equivalente a 15 crediti di Probabilità e Statistica Matematica.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The students are assumed to know the topics covered by standard courses in mathematics given in the Bs.D. in Engineering. Furthermore, a knowledge in basic probability and statistics is required: pdf, normal, expectation, mean, variance – covariance. SVD will be explained along the course.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Previous education equivalent to 15 credits of Probability and Mathematical Statistics.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Apprendimento Statistico: paradigmi e metodi fondazionali (addestramento, validazione e testing; errori, bilanciamento bias e varianza, cross validation; apprendimento supervisionato e non supervisionato) - Metodi Simulativi: Montecarlo, Bootstrap; - Classificazione: regressione logistica; analisi discriminante, lineare, quadratica e di Fisher, Näive Bayes Classifier, Alberi decisionali; - Metodi basati su nuclei e regolarizzazione: SVM, PCA, Lasso, Ridge, Pruning, Sparsità, Stabilità indotta dalla regolarizzazione; - Metodi di ensemble: Random Forest, Boosting (ADA e Alberi); - Serie temporali: Analisi descrittiva, predizione, decomposizione, modelli stocastici (ARIMA).
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modelli lineari e applicazioni. Modelli lineari generalizzati e applicazioni. Principi di sperimantazione clinica e biomedica. Sopravvivenza e affidabilità, parametrica e non parametrica. Analisi discriminante. Clusterizzazione. Introduzione alle reti bayesiane. Dati qualitativi. R, JAGS, Python e altro software specializzato.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
GENERALITIES ON DATA REPRESENTATION. Metric and topological spaces. Coordinatization. Curse of dimensionality; The Law of Large Numbers; the Geometry of High Dimensions: properties of the Unit Ball; Generating Points Uniformly at Random from a Ball; Gaussians in High Dimension; Random Projection and Johnson-Lindenstrauss Lemma. STATISTICAL LEARNING What Is Statistical Learning? Why Estimate f? How Do We Estimate f? The Trade-Off Between Prediction Accuracy and Model Interpretability. Supervised Versus Unsupervised Learning. Regression Versus Classification Problems. Assessing Model Accuracy. Measuring the Quality of Fit. The Bias-Variance Trade-Off. LINEAR REGRESSION Simple Linear Regression. Multiple Linear Regression. CLASSIFICATION An Overview of Classification. Logistic Regression. Multiple Logistic Regression. Logistic Regression for >2 Response Classes. Linear Discriminant Analysis. Quadratic Discriminant Analysis. Comparison of Classification Methods. K-Nearest Neighbours. RESAMPLING METHODS Cross-Validation. Leave-One-Out Cross-Validation. k-Fold Cross-Validation. Cross-Validation on Classification Problems. The Bootstrap. Mathematical justification of these methods. TREE-BASED METHODS The Basics of Decision Trees. Regression Trees. Classification Trees. Advantages and Disadvantages of Trees. Bagging, Random Forests, Boosting. SUPPORT VECTOR MACHINES. Classification Using a Separating Hyperplane. The Maximal Margin Classifier. Construction of the Maximal Margin Classifier. The Non-separable Case. Support Vector Classifiers. Support Vector Machines. SVMs with More than Two Classes. OVO and OVA. Relationship to Logistic Regression. Kernel Methods. Geometrical interpretation via Segre embedding. UNSUPERVISED LEARNING. SVD. Principal Components Analysis. Independent component analysis. Multidimensional Scaling (MDS) as an optimization problem.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Linear models and their applications. Generalized linear models. Principles of clinical and biomedical experimentation. Parametric and nonparametric survival and reliability. Principal components Discriminant analysis. Introduction to Bayesian networks. Categorical data. R, OpenBUGS and other specialized software.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Verranno impartite lezioni e esercitazioni. Mediamente, 3 ore di lezioni a settimana più un'ora e mezza di esercitazioni.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Esercitazioni in forma tradizionale completeranno le lezioni e software statistico appropriato sarà usato in laboratorio informatico.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Lessons, exercise classes and laboratory sessions will be given. There will be three hours of lesson per week plus 1.5 one hour and half of exercises / further lessons. These latter are split into two group: one for mathematical engineering and the other for software enngineering.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Traditional exercise sessions will complement lectures, whereas appropriate statistical software will be used in computer lab sessions.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
An Introduction to Statistical Learning with Applications in R, first edition Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani New York Springer, ISBN 1461471370 http://www-bcf.usc.edu/~gareth/ISL/ Mathematics for machine learning, first edition Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong. Cambridge University Press, 2020, ISBN 110845514X https://mml-book.github.io/ Forecasting: principles and practice, third edition Rob J Hyndman and George Athanasopoulos https://otexts.com/fpp3/ Introductory Time Series with R, first edition Paul S.P. Cowpertwait and Andrew V. Metcalfe New York Springer, ISBN 978-0-387-88697-8 Dataset disponibili su https://github.com/prabeshdhakal/Introductory-Time-Series-with-R-Datasets Argomenti avanzati per approfondimenti Data Science and Machine Learning: Mathematical and Statistical Methods, first edition Dirk P. Kroese, Zdravko I. Botev, Thomas Taimre, Radislav Vaisman CRC Press, 2019, ISBN 9781138492530 https://people.smp.uq.edu.au/DirkKroese/DSML/
Modelli statistici/Apprendimento statistico (Modelli statistici)
- An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani http://faculty.marshall.usc.edu/gareth-james/ISL/ - The BUGS Book: A Practical Introduction to Bayesian Analysis di David Lunn, Chris Jackson, Nicky Best, Andrew Thomas, David Spiegelhalter. Chapman & Hall. - Categorical Data Analysis di Alan Agresti. Wiley - Plane answers to Complex questions. The theory of linear models. by Ronald Christensen. Springer.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani https://www.amazon.it/Introduction-Statistical-Learning-Applications/dp/1461471370/ref=sr_1_1?ie=UTF8&qid=1474898531&sr=8-1&keywords=An+Introduction+to+Statistical+Learning+with+Applications+in+R freely available at http://www-bcf.usc.edu/~gareth/ISL/
Modelli statistici/Apprendimento statistico (Modelli statistici)
- An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani http://faculty.marshall.usc.edu/gareth-james/ISL/ - The BUGS Book: A Practical Introduction to Bayesian Analysis by David Lunn, Chris Jackson, Nicky Best, Andrew Thomas, David Spiegelhalter. Chapman & Hall. - Categorical Data Analysis by Alan Agresti. Wiley - Statistical analysis of designed experiments by Ajit C. Tamhane. Wiley - Foundations of Linear and Generalized Linear Models by Alan Agresti
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modalità di esame: Prova orale obbligatoria; Elaborato scritto individuale;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modalità di esame: Prova orale obbligatoria;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Exam: Compulsory oral exam; Individual essay;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Exam: Compulsory oral exam;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
L'obiettivo dell'esame è quello di testare la conoscenza del candidato sugli argomenti inseriti nel programma e di testare le capacità nell'analisi dei dati utilizzando i modelli illustrati nel corso. L'esame può essere sostenuto in due modalità: MODALITA' 1 L'esame consiste in due parti: in primo luogo il candidato scriverà una tesina sull'analisi di un set di dati eseguita utilizzando le metodologie insegnate nel corso. Lo studente è libero di usare il software che preferisce: per esempio Orange, R, Matlab, Rapidminer, Python, C++ ecc. Una volta che la tesina è stata approvata dal docente, lo studente è autorizzato a presentarla in una prova orale (circa 20 minuti) durante la quale il docente porrà domande anche sugli aspetti teorici dei metodi utilizzati nella tesina. Sul sito web verranno forniti esempi di lavoro degli anni precedenti. MODALITA' 2 L'esame consiste in una prova orale in cui oltre agli aspetti teorici, possono essere discussi anche gli script fatti durante le esercitazioni
Modelli statistici/Apprendimento statistico (Modelli statistici)
L'esame sarà una interrogazione orale su due di un lista di una trentina tra studi di casi analizzati durante l'anno e questioni teoriche.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Exam: Compulsory oral exam; Individual essay;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Exam: Compulsory oral exam;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The goal of the exam is to test the knowledge of the candidate about the topics included in the official program and to test their skills in analysing data using the methods explained in the course. The exam consists in two parts: first the candidate will write a technical relation "tesina" on the analysis of a data set performed by using the methods taught in the course. This will be software independent i.e. one can use Orange, R, Matlab, Rapidminer, Python, C++ etc. according to their knowledge or willingness. Once the "tesina" is approved by the professor, then the student is allowed to present it in an oral exam (about 20.min) during which the professor will also ask questions on the theoretical aspects of the methods used in the tesina. Sample work from the previous years will be provided on the website. CAVEAT: students following this course as a submodule of Statistical Models will give the exam according to the rules fixed thereby.
Modelli statistici/Apprendimento statistico (Modelli statistici)
The exam will be an oral conversation about two out of around twenty case studies seen in class