PORTALE DELLA DIDATTICA

Ricerca CERCA
  KEYWORD

Tecniche statistiche per l'allenamento di reti neurali profonde

Riferimenti LIA MORRA

Gruppi di ricerca DAUIN - GR-09 - GRAphics and INtelligent Systems - GRAINS

Descrizione Nel processo di apprendimento di reti deep, spesso diversi protocolli di training dei parametri della rete producono istanze della rete con proprietà di generalizzazione più o meno differenti tra loro. Studi recenti mostrano come attraverso tecniche di tipo statistico sia possibile derivare, da un ensemble di reti con diverse caratteristiche di generalizzazione, una rete efficace con migliori caratteristiche di generalizzazione rispetto a quelle dell’ensemble di partenza. Un secondo aspetto collegato con l’ensemble learning, è quello di utilizzare una nuova tecnica di apprendimento che consideri un ensemble di reti vincolate a ad avere una certa distanza relativa (nello spazio dei parametri della rete) chiamato in letteratura Entropic Stochastic Gradient Descent [ESGD] (si veda ad esempio https://arxiv.org/abs/2006.07897). Studi preliminari mostrano infatti come questa tecnica di apprendimento permetta all’ensemble reti di evitare minimi locali e di esplorare regioni dello spazio delle soluzioni ottimali per robustezza e della capacità di generalizzazione.

Lo scopo di questa tesi è di studiare l'integrazione di queste tecniche in reti neurali profonde complesse da applicare in ambito medicale, ed in particolare per l'analisi di immagini mammografiche ad alta risoluzione. Verrà richiesta l'implementazione in PyTorch di queste nuove tecniche di ottimizzazione, ed il loro confronto sperimantale con altre tecniche di ottimizzazione in termini di errore di generalizzazione e velocità di convergenza.

Nell'ambito di questa tesi, verranno condotte le seguenti attività: i) Analisi statistica “statica” di ensemble di reti: stacking, weighted ensemble average, ii) integrazione ed analisi di ottimizzatore ESGD e iii) Stima dell’incertezza di reti neurali profonde complesse (multi-stream)

Conoscenze richieste deep learning; Python and Pytorch programming; statistics


Scadenza validita proposta 31/12/2022      PROPONI LA TUA CANDIDATURA




© Politecnico di Torino
Corso Duca degli Abruzzi, 24 - 10129 Torino, ITALY
Contatti