| KEYWORD |
Ensemble learning and optimization techniques for deep neural networks
Parole chiave FISICA STATISTICA, OTTIMIZZAZIONE STOCASTICA, RETI NEURALI PROFONDE
Riferimenti LIA MORRA
Gruppi di ricerca DAUIN - GR-09 - GRAphics and INtelligent Systems - GRAINS
Tipo tesi RICERCA
Descrizione Nel processo di apprendimento di reti deep, spesso diversi protocolli di training dei parametri della rete producono istanze della rete con proprietà di generalizzazione più o meno differenti tra loro. Studi recenti mostrano come attraverso tecniche di tipo statistico sia possibile derivare, da un ensemble di reti con diverse caratteristiche di generalizzazione, una rete efficace con migliori caratteristiche di generalizzazione rispetto a quelle dell’ensemble di partenza. Un secondo aspetto collegato con l’ensemble learning, è quello di utilizzare una nuova tecnica di apprendimento che consideri un ensemble di reti vincolate ad avere una certa distanza relativa (nello spazio dei parametri della rete) chiamato in letteratura Entropic Stochastic Gradient Descent [ESGD] (https://arxiv.org/abs/2006.07897). Studi preliminari mostrano infatti come questa tecnica di apprendimento permetta all’ensemble reti di evitare minimi locali e di esplorare regioni dello spazio delle soluzioni ottimali per robustezza e della capacità di generalizzazione. Scopo di questa tesi è applicare queste tecniche a reti neurali profonde nel dominio medicale (mammografia), analizzandone prestazioni e scalabilità.
Le attività verteranno su: i) analisi statistica “statica” di ensemble di reti: stacking, weighted ensemble average, ii) analisi ESGD; e iii) stima dell’incertezza di reti neurali profonde complesse (multi-stream).
Conoscenze richieste buone competenze di programmazione; buone capacità analitico-matematica; conoscenza di PyTorch o altro framework per il deep learning
Scadenza validita proposta 16/10/2022
PROPONI LA TUA CANDIDATURA