| KEYWORD |
Application of Approximate Computing Techniques in Large Language Models (LLMs)
Parole chiave APPROXIMATE COMPUTING, EDGE COMPUTING, LARGE LANGUAGE MODELS
Riferimenti STEFANO DI CARLO, ALESSANDRO SAVINO
Gruppi di ricerca DAUIN - GR-24 - reSilient coMputer archItectures and LIfE Sci - SMILIES
Tipo tesi RESEARCH / EXPERIMENTAL
Descrizione Questa tesi si propone di utilizzare le tecniche di Approximate Computing nei Large Language Models (LLM) come GPT, BERT e le loro varianti. Con l'aumento esponenziale dei requisiti computazionali e del consumo energetico legati a questi modelli, il mondo dell'Approximate Computing offre un approccio alternativo per migliorare l'efficienza senza compromettere significativamente le prestazioni. La ricerca si concentrerà su metodi di approssimazione compatibili con gli LLM, li integrerà negli LLM e valuterà il loro impatto sull'accuratezza del modello, sull'efficienza computazionale e sull'utilizzo delle risorse.
Motivazione: Gli LLM hanno elevato l'elaborazione del linguaggio naturale (NLP), fornendo prestazioni di alto livello in diversi compiti. Tuttavia, la loro natura su larga scala richiede notevoli risorse computazionali ed energetiche. L'Approximate Computing, che sfrutta metodi di approssimazione per aumentare l'efficienza, offre una soluzione promettente. Questa tesi studierà come queste tecniche possano essere efficacemente applicate agli LLM per raggiungere un equilibrio tra efficienza computazionale e accuratezza del modello. L'obiettivo finale è valutare il potenziale di sfruttamento dei modelli LLM nell'Edge Computing.
Conoscenze richieste C/C++ (e/o RUST)
Python
Fondamenti di Architetture degli Elbatorari
Scadenza validita proposta 27/05/2025
PROPONI LA TUA CANDIDATURA