PORTALE DELLA DIDATTICA

Ricerca CERCA
  KEYWORD

Test di applicazioni mobili attraverso tecniche di computer vision

Riferimenti LUCA ARDITO, FABRIZIO LAMBERTI

Riferimenti esterni Lia Morra

Gruppi di ricerca DAUIN - GR-16 - SOFTWARE ENGINEERING GROUP - SOFTENG, GR-09 - GRAphics and INtelligent Systems - GRAINS

Tipo tesi TESI DI RICERCA

Descrizione Molti strumenti di test di tipo End-to-End (E2E) permettono agli sviluppatori di creare script di test automatici che simulano l'interazione di un utente umano con l'applicazione e valutano la sua risposta. Sono stati definiti vari paradigmi e strumenti di test che si differenziano in base al modo in cui i widget sono posizionati sulla GUI (ad esempio, testo, immagini, proprietà di layout).

Questa tesi rientra nell'ambito del GUI Testing, dove gli snapshot dello schermo, usati come localizzatori visivi
- identificano i widget e
- replicano una suite di test esistente su più dispositivi o versioni della stessa app.

Questa tecnica sfrutta gli algoritmi di riconoscimento delle immagini.

In particolare, la tesi si concentra sul test di applicazioni mobili in cui gli stessi widget devono essere identificati su più dispositivi, con diverse dimensioni e caratteristiche dello schermo. In questo contesto, variazioni marginali nella resa grafica possono invalidare il riconoscimento dei widget se l'algoritmo di riconoscimento delle immagini non è sufficientemente robusto. Questa tesi mira ad estendere un prototipo esistente per il test delle GUI sfruttando il deep learning. In particolare, sono previste le seguenti attività:
- Addestrare un rilevatore per identificare i widget e le loro classi con un'alta recall.
- Usare le feature estratte dalla rete neurale per abbinare gli stessi widget quando l'app viene visualizzata su più dispositivi.
- Studiare la possibilità di integrare l'estrazione del testo con l'analisi delle immagini.

La soluzione sarà caratterizzata ed eventualmente ottimizzata in termini di precision e velocità di esecuzione. Le tecniche sviluppate saranno incluse in una libreria open-source.

Lo studente deve possedere o essere disposto ad acquisire queste competenze:
- competenze di programmazione (Python, framework di deep learning);
- esperienza nell'addestramento di deep neural network;
- fondamenti di sviluppo mobile (Android GUI, ambiente di sviluppo Android Studio).

Vedi anche  http://grains.polito.it/work.php


Scadenza validita proposta 09/03/2023      PROPONI LA TUA CANDIDATURA




© Politecnico di Torino
Corso Duca degli Abruzzi, 24 - 10129 Torino, ITALY
Contatti