Caricamento in corso...
Modelli statistici/Apprendimento statistico
01VJWNG
A.A. 2023/24
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
L'obiettivo principale dell'insegnamento è di dare agli studenti le basi matematiche per comprendere e usare le più importanti tecniche di apprendimento statistico (o machine learning), sia supervisionato che non supervisionato. L'insegnamento è progettato per fornire agli studenti una solida comprensione dei metodi avanzati utilizzati per analizzare e interpretare dati complessi e si concentrerà su classificazione, analisi serie temporali (SARIMA), e metodi simulativi (Monte Carlo). L'insegnamento offre agli studenti la conoscenza e le competenze necessarie per affrontare sfide analitiche complesse, fornendo loro una base solida per carriere in ambiti come l'analisi dei dati, la previsione e la modellizzazione statistica.
Modelli statistici/Apprendimento statistico (Modelli statistici)
L'insegnamento è progettato per fornire agli studenti una solida comprensione dei concetti e delle applicazioni dei modelli statistici avanzati utilizzati per analizzare dati complessi. Il corso si concentra sull'apprendimento e l'applicazione di tre tipi principali di modelli: modelli lineari (Lm), modelli lineari generalizzati (GLM) e modelli lineari generalizzati misti (GLMM), nonché sui principi fondamentali dei modelli bayesiani. Durante il corso, gli studenti acquisiranno conoscenze approfondite sulle teorie e le metodologie dei modelli statistici. Saranno introdotti ai modelli lineari, che rappresentano una classe di modelli ampiamente utilizzati per esaminare le relazioni tra variabili continue. Gli studenti impareranno a utilizzare le tecniche di stima dei minimi quadrati e le procedure di verifica delle ipotesi per adattare e interpretare i modelli lineari. Successivamente, il corso si concentrerà sui modelli lineari generalizzati, che rappresentano una generalizzazione dei modelli lineari per variabili di risposta che seguono una distribuzione diversa dalla normale. Gli studenti impareranno a utilizzare i modelli lineari generalizzati per affrontare situazioni in cui la variabile di risposta può essere binaria, categorica o di conteggio. Il corso approfondirà inoltre i modelli lineari generalizzati misti, che estendono i modelli lineari generalizzati per affrontare la presenza di dati correlati o raggruppati. Gli studenti impareranno a modellare e analizzare dati che presentano dipendenza o eterogeneità tra le unità osservate. Inoltre, il corso fornirà una panoramica dei principi e delle applicazioni dei modelli bayesiani. Gli studenti impareranno i concetti chiave della statistica bayesiana, inclusa la formulazione delle distribuzioni a priori, l'applicazione della regola di Bayes per ottenere le distribuzioni a posteriori e l'interpretazione dei risultati ottenuti dai modelli bayesiani. Saranno introdotti ai metodi computazionali utilizzati per l'inferenza bayesiana, come l'utilizzo delle catene di Markov Monte Carlo (MCMC). Durante l'insegnamento verranno impartite anche lezioni sul software R, JAGS, e STAN
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The main objective of the teaching is to provide students with the mathematical foundations to understand and use the most important techniques of statistical learning (or machine learning), both supervised and unsupervised. The teaching is designed to provide students with a solid understanding of advanced methods used to analyze and interpret complex data, and will focus on classification, time series analysis (SARIMA), and simulation methods (Monte Carlo). The teaching offers students the knowledge and skills necessary to tackle complex analytical challenges, providing them with a solid foundation for careers in fields such as data analysis, prediction, and statistical modeling.
Modelli statistici/Apprendimento statistico (Modelli statistici)
The teaching is designed to provide students with a solid understanding of the concepts and applications of advanced statistical models used for analyzing complex data. The course focuses on learning and applying three main types of models: linear models (Lm), generalized linear models (GLM), and generalized linear mixed models (GLMM), as well as the fundamental principles of Bayesian models. During the course, students will acquire in-depth knowledge of the theories and methodologies of statistical models. They will be introduced to linear models, which represent a widely used class of models for examining relationships between continuous variables. Students will learn to use least squares estimation techniques and hypothesis testing procedures to fit and interpret linear models. Subsequently, the course will concentrate on generalized linear models, which generalize linear models for response variables that follow a distribution other than normal. Students will learn to use generalized linear models to address situations where the response variable can be binary, categorical, or a count. The course will also delve into generalized linear mixed models, which extend generalized linear models to address the presence of correlated or clustered data. Students will learn to model and analyze data that exhibit dependence or heterogeneity among the observed units. Additionally, the course will provide an overview of the principles and applications of Bayesian models. Students will learn key concepts of Bayesian statistics, including the formulation of prior distributions, the application of Bayes' rule to obtain posterior distributions, and the interpretation of results obtained from Bayesian models. They will be introduced to computational methods used for Bayesian inference, such as Markov Chain Monte Carlo (MCMC) techniques. By the end of the course, students will be able to understand and apply linear models (Lm), generalized linear models (GLM), and generalized linear mixed models (GLMM), as well as utilize the principles and methodologies of Bayesian models. They will have the skills to analyze and interpret complex data using advanced statistical modeling techniques. During the course, lessons will also be taught on the R, STAN, and JAGS softwares.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Al termine dell'insegnamento si chieiderà allo studente di: - acquisire una conoscenza approfondita dei concetti fondamentali delle serie temporali, inclusi trend, stagionalità, autocorrelazione e stazionarietà. - applicare metodi statistici e tecniche di modellizzazione per analizzare le serie temporali, inclusi modelli autoregressivi (AR), modelli a media mobile (MA), modelli ARIMA e SARIMA. - essere in grado di utilizzare modelli di previsione per stimare valori futuri delle serie temporali e comprendere i concetti di valutazione delle prestazioni nella previsione delle serie temporali. - acquisire una comprensione dei principi e delle applicazioni del metodo Monte Carlo per la generazione di campioni casuali e la simulazione di processi complessi. - applicare le tecniche di simulazione Monte Carlo per risolvere problemi complessi, valutare l'incertezza e stimare distribuzioni di probabilità. - acquisire una conoscenza dettagliata della matematica alla base delle tecniche di apprendimento più diffuse e conoscere i limiti delle varie tecniche - comprendere e applicare algoritmi di machine learning per l'analisi di dati reali Gli studenti dovranno essere in grado di valutare criticamente i risultati ottenuti dall'analisi e di interpretare in modo accurato e significativo i risultati ottenuti, e applicare le conoscenze e le competenze acquisite in contesti real
Modelli statistici/Apprendimento statistico (Modelli statistici)
Al termine dell’insegnamento si chiederà allo studente di: - acquisire una conoscenza approfondita dei concetti e delle applicazioni dei modelli statistici avanzati utilizzati per analizzare dati complessi. - essere in grado di utilizzare le tecniche di stima dei minimi quadrati e le procedure di verifica delle ipotesi per adattare e interpretare modelli lineari per esaminare le relazioni tra variabili continue. - essere in grado di applicare i modelli lineari generalizzati per affrontare situazioni in cui la variabile di risposta segue una distribuzione diversa dalla normale, come variabili binarie, categoriche o di conteggio. - essere in grado di modellare e analizzare dati che presentano dipendenza o eterogeneità tra le unità osservate utilizzando modelli lineari generalizzati misti. - comprendere la formulazione delle distribuzioni a priori, l'applicazione della regola di Bayes per ottenere le distribuzioni a posteriori e l'interpretazione dei risultati ottenuti dai modelli bayesiani. - essere in grado di utilizzare metodi computazionali, come le catene di Markov Monte Carlo (MCMC), per l'inferenza bayesiana e l'analisi dei modelli bayesiani. - essere in grado di applicare le conoscenze acquisite per analizzare e interpretare dati complessi in contesti reali, come l'analisi di dati provenienti da studi clinici, sondaggi, dati finanziari o dati biologici. - sviluppare la capacità di valutare criticamente i modelli statistici, compresi i modelli lineari, i modelli lineari generalizzati, i modelli lineari generalizzati misti e i modelli bayesiani, e di interpretare in modo accurato i risultati ottenuti.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
- Knowledge and understanding of the main learning techniques (detailed knowledge of the mathematics behind the most popular learning techniques; be acquainted of the limitations of the various techniques; awareness of the structural problem as e.r. the curse of dimensionality) - Practical application of the acquired knowledge (ability to identify the applicability domain of the various techniques with respect of the nature of data; ability to extract information from real and simulated data by applying the learned techniques via software application or development).
Modelli statistici/Apprendimento statistico (Modelli statistici)
The student will learn how to apply in practice the statistical methods s/he has studied in theory, in order to use all of their methodological potentials.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Si presume che gli studenti conoscano gli argomenti trattati dai corsi standard di matematica impartiti nei corsi di ingegneria. Inoltre, è richiesta la conoscenza di concetti base di probabilità e statistica: pdf, distribuzione normale, valore atteso, varianza, covarianza. Si richiede inoltre una conoscenza di base del software R e/o Python.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Si presume che gli studenti conoscano gli argomenti trattati dai corsi standard di matematica impartiti nei corsi di ingegneria. Inoltre, è richiesta la conoscenza di concetti base di probabilità e statistica: pdf, distribuzione normale, valore atteso, varianza, covarianza (una preparazione equivalente a 15 crediti di Probabilità e Statistica Matematica.). Si richiede inoltre una conoscenza di base del software R.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The students are assumed to know the topics covered by standard courses in mathematics given in the Bs.D. in Engineering. Furthermore, a knowledge in basic probability and statistics is required: pdf, normal, expectation, mean, variance – covariance. SVD will be explained along the course.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Previous education equivalent to 15 credits of Probability and Mathematical Statistics.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
- Metodi Simulativi: Montecarlo, Bootstrap; - Classificazione: regressione logistica; analisi discriminante, lineare, quadratica e di Fisher, Näive Bayes Classifier, Alberi decisionali; - Metodi basati su nuclei e regolarizzazione: SVM, PCA, Lasso, Ridge, Pruning, Sparsità, Stabilità indotta dalla regolarizzazione; - Metodi di ensemble: Random Forest, Boosting (ADA e Alberi); - Serie temporali: Analisi descrittiva, predizione, decomposizione, modelli stocastici (SARIMA e sottomodelli).
Modelli statistici/Apprendimento statistico (Modelli statistici)
Durante l’insegnamento verranno trattati i seguenti argomenti - Modelli lineari - Modelli lineari generalizzati -Modelli lineari generalizzati misti - Modelli per dati di sopravvivenza - Modelli misture - Modellistica Bayesiana - software R e JAGS, più altro software specializzato, se necessario
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
GENERALITIES ON DATA REPRESENTATION. Metric and topological spaces. Coordinatization. Curse of dimensionality; The Law of Large Numbers; the Geometry of High Dimensions: properties of the Unit Ball; Generating Points Uniformly at Random from a Ball; Gaussians in High Dimension; Random Projection and Johnson-Lindenstrauss Lemma. STATISTICAL LEARNING What Is Statistical Learning? Why Estimate f? How Do We Estimate f? The Trade-Off Between Prediction Accuracy and Model Interpretability. Supervised Versus Unsupervised Learning. Regression Versus Classification Problems. Assessing Model Accuracy. Measuring the Quality of Fit. The Bias-Variance Trade-Off. LINEAR REGRESSION Simple Linear Regression. Multiple Linear Regression. CLASSIFICATION An Overview of Classification. Logistic Regression. Multiple Logistic Regression. Logistic Regression for >2 Response Classes. Linear Discriminant Analysis. Quadratic Discriminant Analysis. Comparison of Classification Methods. K-Nearest Neighbours. RESAMPLING METHODS Cross-Validation. Leave-One-Out Cross-Validation. k-Fold Cross-Validation. Cross-Validation on Classification Problems. The Bootstrap. Mathematical justification of these methods. TREE-BASED METHODS The Basics of Decision Trees. Regression Trees. Classification Trees. Advantages and Disadvantages of Trees. Bagging, Random Forests, Boosting. SUPPORT VECTOR MACHINES. Classification Using a Separating Hyperplane. The Maximal Margin Classifier. Construction of the Maximal Margin Classifier. The Non-separable Case. Support Vector Classifiers. Support Vector Machines. SVMs with More than Two Classes. OVO and OVA. Relationship to Logistic Regression. Kernel Methods. Geometrical interpretation via Segre embedding. UNSUPERVISED LEARNING. SVD. Principal Components Analysis. Independent component analysis. Multidimensional Scaling (MDS) as an optimization problem.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Linear models and their applications. Generalized linear models. Principles of clinical and biomedical experimentation. Parametric and nonparametric survival and reliability. Principal components Discriminant analysis. Introduction to Bayesian networks. Categorical data. R, OpenBUGS and other specialized software.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Verranno impartite lezioni e esercitazioni. Mediamente, 3 ore di lezioni a settimana più un'ora e mezza di esercitazioni. Durante le lezioni si farà uso di lucidi e note scritte a mano (su tablet). Occasionalmente si farà anche uso della lavagna. Per meglio comprendere molti dei concetti e/o modelli, si farà ricorso all'uso del computer per simulazioni o per mostrare le analisi su dataset. I linguaggi usati saranno per la maggior parte R (serie temporali, e Monte Carlo) e Python (machine learning). Gli script usati durante le lezioni faranno parte del materiale didattico dato agli studenti.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Verranno impartite lezioni e esercitazioni. Mediamente, 3 ore di lezioni a settimana più un'ora e mezza di esercitazioni. Durante le lezioni si farà uso di lucidi e note scritte a mano (su tablet). Occasionalmente si farà anche uso della lavagna. Per meglio comprendere molti dei concetti e/o modelli, si farà ricorso all'uso del computer per simulazioni o per mostrare le analisi su dataset. I linguaggi usati saranno per la maggior parte R e JAGS. Gli script usati durante le lezioni faranno parte del materiale didattico dato agli studenti.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Lessons, exercise classes and laboratory sessions will be given. There will be three hours of lesson per week plus 1.5 one hour and half of exercises / further lessons. These latter are split into two group: one for mathematical engineering and the other for software enngineering.
Modelli statistici/Apprendimento statistico (Modelli statistici)
Traditional exercise sessions will complement lectures, whereas appropriate statistical software will be used in computer lab sessions.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
An Introduction to Statistical Learning with Applications in R, first edition Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani New York Springer, ISBN 1461471370 http://www-bcf.usc.edu/~gareth/ISL/ Mathematics for machine learning, first edition Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong. Cambridge University Press, 2020, ISBN 110845514X https://mml-book.github.io/ Forecasting: principles and practice, third edition Rob J Hyndman and George Athanasopoulos https://otexts.com/fpp3/ Introductory Time Series with R, first edition Paul S.P. Cowpertwait and Andrew V. Metcalfe New York Springer, ISBN 978-0-387-88697-8 Dataset disponibili su https://github.com/prabeshdhakal/Introductory-Time-Series-with-R-Datasets Introducing Monte Carlo Methods with R Christian Robert, George Casella https://link.springer.com/book/10.1007/978-1-4419-1576-4 Argomenti avanzati per approfondimenti Data Science and Machine Learning: Mathematical and Statistical Methods, first edition Dirk P. Kroese, Zdravko I. Botev, Thomas Taimre, Radislav Vaisman CRC Press, 2019, ISBN 9781138492530 https://people.smp.uq.edu.au/DirkKroese/DSML/
Modelli statistici/Apprendimento statistico (Modelli statistici)
Bayesian Essentials with R Jean-Michel Marin , Christian P. Robert https://link.springer.com/book/10.1007/978-1-4614-8687-9 Doing Bayesian Data Analysis, A Tutorial with R, JAGS, and Stan John Kruschke https://www.elsevier.com/books/doing-bayesian-data-analysis/kruschke/978-0-12-405888-0 Introducing Monte Carlo Methods with R Christian Robert, George Casella https://link.springer.com/book/10.1007/978-1-4419-1576-4 An Introduction to Generalized Linear Models Annette J. Dobson, Adrian G. Barnett https://www.taylorfrancis.com/books/mono/10.1201/9781439891148/introduction-general-generalized-linear-models-henrik-madsen-poul-thyregod Linear Mixed-Effects Models Using R, A Step-by-Step Approach Andrzej Gałecki , Tomasz Burzykowski https://link.springer.com/book/10.1007/978-1-4614-3900-4
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani https://www.amazon.it/Introduction-Statistical-Learning-Applications/dp/1461471370/ref=sr_1_1?ie=UTF8&qid=1474898531&sr=8-1&keywords=An+Introduction+to+Statistical+Learning+with+Applications+in+R freely available at http://www-bcf.usc.edu/~gareth/ISL/
Modelli statistici/Apprendimento statistico (Modelli statistici)
- An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani http://faculty.marshall.usc.edu/gareth-james/ISL/ - The BUGS Book: A Practical Introduction to Bayesian Analysis by David Lunn, Chris Jackson, Nicky Best, Andrew Thomas, David Spiegelhalter. Chapman & Hall. - Categorical Data Analysis by Alan Agresti. Wiley - Statistical analysis of designed experiments by Ajit C. Tamhane. Wiley - Foundations of Linear and Generalized Linear Models by Alan Agresti
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Slides; Libro di testo; Esercitazioni di laboratorio risolte;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Slides; Libro di testo; Esercitazioni di laboratorio risolte;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Lecture slides; Text book; Lab exercises with solutions;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Lecture slides; Text book; Lab exercises with solutions;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Modalità di esame: Prova orale obbligatoria; Elaborato scritto individuale;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Modalità di esame: Prova orale obbligatoria;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Exam: Compulsory oral exam; Individual essay;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Exam: Compulsory oral exam;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
L'obiettivo dell'esame è quello di testare la conoscenza del candidato sugli argomenti inseriti nel programma, la conoscenza dettagliata della matematica alla base delle tecniche di apprendimento più diffuse, i loro limiti, e di testare le capacità nell'analisi dei dati utilizzando i modelli illustrati a lezione dimostrando di saper determinare il dominio di applicabilità delle varie tecniche rispetto alla natura dei dati. La votazione totale sarà di 15 punti assegnabili per la parte di machine learning, e 15 punto per serie storiche e Monte Carlo Per ognuna delle due parti, è possibile sostenere l'esame in due modalità MODALITA' 1 L'esame consiste in due parti: in primo luogo il candidato scriverà una tesina sull'analisi di un set di dati eseguita utilizzando le metodologie presentate a lezione. Lo studente è libero di usare il software che preferisce: per esempio Orange, R, Matlab, Rapidminer, Python, C++ ecc. La tesina va caricata sul portale del corso, almeno una settimana prima della data ufficiale dell'esame che si vuole sostenere. Lo studente presenta la tesina in una prova orale durante la quale il docente porrà domande anche sugli aspetti teorici dei metodi utilizzati. Sul sito web verranno forniti esempi di lavoro degli anni precedenti. Non sono previsti lavori di gruppo o consegne intermedie per le tesine. Un massimo di 7.5 punti su 15 sono assegnabili al lavoro svolto nella tesina, mentre gli altri 7.5 sono assegnabili in base alle conoscenze teoriche. MODALITA' 2 L'esame consiste in una prova orale in cui, oltre agli aspetti teorici, possono essere discussi anche gli script fatti durante le esercitazioni. Un massimo di 3 punti su 15 sono assegnabili alla conoscenza degli script, mentre gli altri 12 sono assegnabili in base alle conoscenze teoriche.
Modelli statistici/Apprendimento statistico (Modelli statistici)
L'obiettivo dell'esame è quello di testare la conoscenza del candidato sugli argomenti inseriti nel programma, la conoscenza dettagliata della matematica alla base delle tecniche apprese, i loro limiti, e di testare le capacità nell'analisi dei dati utilizzando i modelli illustrati a lezione dimostrando di saper determinare il dominio di applicabilità delle varie tecniche rispetto alla natura dei dati. L'esame sarà una interrogazione orale su due di un lista di una trentina tra studi di casi analizzati durante l'anno e questioni teoriche. Un massimo di 5 punti su 30 sono assegnabili alla conoscenza degli script, mentre gli altri 25 sono assegnabili in base alle conoscenze teoriche.
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
Exam: Compulsory oral exam; Individual essay;
Modelli statistici/Apprendimento statistico (Modelli statistici)
Exam: Compulsory oral exam;
Modelli statistici/Apprendimento statistico (Apprendimento statistico)
The goal of the exam is to test the knowledge of the candidate about the topics included in the official program and to test their skills in analysing data using the methods explained in the course. The exam consists in two parts: first the candidate will write a technical relation "tesina" on the analysis of a data set performed by using the methods taught in the course. This will be software independent i.e. one can use Orange, R, Matlab, Rapidminer, Python, C++ etc. according to their knowledge or willingness. Once the "tesina" is approved by the professor, then the student is allowed to present it in an oral exam (about 20.min) during which the professor will also ask questions on the theoretical aspects of the methods used in the tesina. Sample work from the previous years will be provided on the website. CAVEAT: students following this course as a submodule of Statistical Models will give the exam according to the rules fixed thereby.
Modelli statistici/Apprendimento statistico (Modelli statistici)
The exam will be an oral conversation about two out of around twenty case studies seen in class