PORTALE DELLA DIDATTICA

Ricerca CERCA
  KEYWORD

Ensemble learning and optimization techniques for deep neural networks

Parole chiave FISICA STATISTICA, OTTIMIZZAZIONE STOCASTICA, RETI NEURALI PROFONDE

Riferimenti LIA MORRA

Gruppi di ricerca DAUIN - GR-09 - GRAphics and INtelligent Systems - GRAINS

Tipo tesi RICERCA

Descrizione Nel processo di apprendimento di reti deep, spesso diversi protocolli di training dei parametri della rete producono istanze della rete con proprietà di generalizzazione più o meno differenti tra loro. Studi recenti mostrano come attraverso tecniche di tipo statistico sia possibile derivare, da un ensemble di reti con diverse caratteristiche di generalizzazione, una rete efficace con migliori caratteristiche di generalizzazione rispetto a quelle dell’ensemble di partenza. Un secondo aspetto collegato con l’ensemble learning, è quello di utilizzare una nuova tecnica di apprendimento che consideri un ensemble di reti vincolate ad avere una certa distanza relativa (nello spazio dei parametri della rete) chiamato in letteratura Entropic Stochastic Gradient Descent [ESGD] (https://arxiv.org/abs/2006.07897). Studi preliminari mostrano infatti come questa tecnica di apprendimento permetta all’ensemble reti di evitare minimi locali e di esplorare regioni dello spazio delle soluzioni ottimali per robustezza e della capacità di generalizzazione. Scopo di questa tesi è applicare queste tecniche a reti neurali profonde nel dominio medicale (mammografia), analizzandone prestazioni e scalabilità.
Le attività verteranno su: i) analisi statistica “statica” di ensemble di reti: stacking, weighted ensemble average, ii) analisi ESGD; e iii) stima dell’incertezza di reti neurali profonde complesse (multi-stream).

Conoscenze richieste buone competenze di programmazione; buone capacità analitico-matematica; conoscenza di PyTorch o altro framework per il deep learning


Scadenza validita proposta 16/10/2022      PROPONI LA TUA CANDIDATURA