| KEYWORD |
Algoritmi multi-agente per l'ottimizzazione nel Machine Learning
Parole chiave MACHINE LEARNING, METODI PARTICELLARI, MODELLI MATEMATICI, OTTIMIZZAZIONE, SISTEMI MULTI-AGENTE
Riferimenti ANDREA TOSIN
Gruppi di ricerca Metodi e modelli matematici per sistemi complessi
Tipo tesi MAGISTRALE, MODELLISTICA, TEORICA, TESI DI RICERCA
Descrizione **AVVERTENZA** Chi fosse interessata/o a questa proposta di tesi magistrale non invii la richiesta tramite il Portale della Didattica, ma contatti i docenti per email.
Un problema centrale delle moderne tecniche di Machine Learning è l'approssimazione di funzioni che dipendono da un elevato numero di variabili. Un problema strettamente collegato ad esso è la ricerca dei punti di massimo o minimo di queste funzioni, che, a causa dell'elevata dimensionalità, non possono essere calcolati in modo efficiente dal punto di vista analitico e numerico mediante tecniche classiche, quali ad esempio il metodo della discesa del gradiente. Un'ulteriore complicazione è dovuta al fatto che spesso le funzioni di cui si cercano i punti di massimo o minimo sono note solo in forma approssimata a partire da dati empirici e non possiedono la regolarità richiesta dalle tecniche analitiche classiche.
Gli algoritmi multi-agente utilizzati per i problemi di ottimizzazione nell'ambito del Machine Learning traggono ispirazione da alcuni modelli di interazione in gruppi di animali, che nel recente passato sono stati oggetto di numerosi studi sia empirici sia teorici mediante svariati approcci fisico-matematici. L'idea di base consiste nell'immaginare che un insieme di particelle esplori lo spazio delle variabili da cui dipende la funzione da ottimizzare alla ricerca dei punti in cui essa è massima o minima. Ciascuna particella dispone solo di informazioni locali relative ad un intorno del punto in cui si trova, ma grazie all'interazione con le altre particelle riesce a spostarsi verso zone del dominio più convenienti o a richiamare a sé altre particelle se essa si trova in una zona conveniente del dominio. In astratto, il processo è simile alla ricerca di sorgenti di cibo da parte di colonie di insetti.
Alcune classi famose di algoritmi multi-agente per problemi di ottimizzazione nel Machine Learning sono la "Particle Swarm Optimisation" e la "Consensus-Based Optimisation". Dal punto di vista algoritmico, il vantaggio di questi metodi particellari è duplice: da un lato, essi sono facilmente implementabili e automatizzabili; dall'altro, il loro costo computazionale e l'errore di approssimazione che essi producono sono sostanzialmente indipendenti dal numero di variabili della funzione da ottimizzare. Sfruttando le tecniche fisico-matematiche messe a punto per la modellizzazione dei sistemi multi-agente (ad esempio, sistemi dinamici deterministici o stocastici, meccanica statistica e teoria cinetica, limiti idrodinamici e descrizioni macroscopiche), è possibile studiare rigorosamente l'efficienza teorica degli algoritmi particellari di ottimizzazione e progettarne di nuovi ispirati a modelli di interazione innovativi.
Conoscenze richieste - Elementi di equazioni differenziali alle derivate ordinarie e parziali;
- Equazioni della fisica matematica;
- Elementi di teoria della probabilità;
- Modelli di trasporto e teorie cinetiche;
- Analisi numerica ed elementi di programmazione
Note Riferimenti bibliografici:
- J. A. Carrillo, Y.-P. Choi, C. Totzeck, O. Tse. An analytical framework for consensus-based global optimization method, Math. Models Methods Appl. Sci., 28(6):1037-1066, 2018
- S. Grassi, L. Pareschi. From particle swarm optimization to consensus based optimization: stochastic modeling and mean-field limit, Math. Models Methods Appl. Sci., 31(8):1625-1657, 2021
- L. Pareschi, G. Toscani. Interacting Multiagent Systems: Kinetic equations and Monte Carlo methods. Oxford University Press, 2013
- R. Pinnau, C. Totzeck, O. Tse, S. Martin. A consensus-based model for global optimization and its mean-field limit, Math. Models Methods Appl. Sci., 27(1):183-204, 2017
Scadenza validita proposta 01/12/2021
PROPONI LA TUA CANDIDATURA