Espandi Menu

PORTALE DELLA DIDATTICA

PORTALE DELLA DIDATTICA

PORTALE DELLA DIDATTICA

Notifiche Email

Elenco notifiche

Optimization methods for control applications

01WCDUR

A.A. 2025/26

Course Language

Inglese

Degree programme(s)

Doctorate Research in Scienze Matematiche - Torino

Course structure
Teaching Hours
Lezioni 30
Lecturers
Teacher Status SSD h.Les h.Ex h.Lab h.Tut Years teaching
Brandimarte Paolo Professore Ordinario MATH-06/A 10 0 0 0 1
Co-lectures
Espandi
Context
SSD CFU Activities Area context
*** N/A *** 6    
Statistiche superamento esami
Il controllo ottimale e' un tema tradizionale nella letteratura dei controlli, con applicazioni significative. In casi particolari, la strategia ottima di controllo puo' essere ottenuta analiticamente. Tuttavia, in generale, e' necessario risolvere un problema di ottimizzazione numerica non agevole. Inoltre, occorre considerare questioni legate alla stabilita' e alle incertezze di modello (in casi estremi, la mancanza di un modello). Sviluppi recenti sfruttano progressi sia dal punto di vista hardware che dal punto di vista metodologico. Metodi di model predictive control ci permettono di trattare vincoli su stati e controlli. Approcci di reinforcement learning sfruttano gli strumenti della statistica e del machine learning. Lo scopo del corso e' fornire una introduzione a questi metodi, all'interno dello schema generale delle decisioni sequenziali in condizioni di incertezza.
Optimal control is a traditional topic in control literature, with significant applications. In some very specific cases, the optimal controller can be obtained analytically. In general, however, a tough numerical optimization problem must be solved. On top of that, we should consider issues related to stability and model uncertainty (or, in extreme cases, the lack of a reliable model). Recent developments leverage advances in both hardware and underlying theory. Model predictive control allows us to deal with constraints on state and control variables. Reinforcement learning approaches may leverage several tools from statistics and machine learning. The aim of the course is to provide a tutorial introduction to such methods, within a general framework related to sequential decisions under uncertainty.
Programmazione lineare e non lineare
Linear and nonlinear programming
Il corso si articola su tre sezioni, ciascuna costituita da quattro lezioni di 2.5 ore Parte 1 (10 ore – P. Brandimarte, DISMA) – Background e quadro di riferimento • Prospettiva storica sul controllo ottimale: calcolo delle variazioni, principio del massimo, programmazione dinamica. • Richiami di programmazione non lineare e ottimizzazione convessa. • Metodi numerici per il controllo ottimale: metodi di trascrizione e approcci pseudospettrali. • Schema generale per l'ottimizzazione sequenziale in condizioni di incertezza. Parte 2 (10 ore – E. Pasta, DIMEAS) – Controllo predittivo (MPC) • Introduzione al controllo predittivo (MPC): formulazione ricorsiva, proprieta' teoriche e garanzie. • Traduzione degli obiettivi del controllo in funzioni di costo e vincoli, con riferimento alla parametrizzazione delle azioni di controllo e alla scelta dell'orizzonte predittivo. • Discussione delle strategie di controllo, selezione dell'orizzonte e dei pesi, gestione di vincoli soft, e formulazione di obiettivi di reiezione dei disturbi e di tracking. • Formulazione di approcci di MPC robusto per sistemi con disturbi limitati e incertezza di modelli, con esempi numerici ed esercizi di implementazione. Parte 3 (10 ore – E. Fadda, DISMA) – Reinforcement learning • Fondamenti di programmazione dinamica: policy iteration, value iteration, e policy iteration generalizzata. • Metodi basati su funzioni action-value: Q-factors, SARSA, e Q-learning. • Metodi avanzati di reinforcement learning: panoramica su approcci non tabulari, basati su approssimazione di funzioni e principi di deep RL. • Applicazioni pratiche e sessione di calcolo hands-on.
The course comprises three sections, where each section includes four lectures (2.5 hours each). Part 1 (10 hours – P. Brandimarte, DISMA) – Background and general framework • Historical perspective on optimal control; calculus of variations; maximum principle; dynamic programming. • Background (refresher): nonlinear programming; convex optimization models. • Numerical methods for optimal control: transcription methods; pseudospectral methods. • A framework for sequential decisions under uncertainty. Part 2 (10 hours – E. Pasta, DIMEAS) – Model Predictive Control • Introduction to the model predictive control (MPC) framework, its recursive formulation, and theoretical properties and guarantees of MPC. • Translation of control objectives into cost functions and constraints, with a focus on the parametrization of control actions and the prediction horizon. • Discussion of tuning strategies, selection of horizons and weights, handling soft constraints, and incorporating disturbance rejection and tracking objectives. • Formulation of robust MPC for systems with bounded disturbances and model uncertainty, with numerical examples and implementation exercises. Part 3 (10 hours – E. Fadda, DISMA) – Reinforcement learning • Fundamentals of dynamic programming: introduction to policy iteration, value iteration, and the concept of generalized policy iteration. • Action-value methods: Q-factors, SARSA, and Q-learning. • Advanced reinforcement learning algorithms: overview of modern and more sophisticated techniques beyond basic tabular methods, including function approximation and deep RL principles. • Practical application and implementation: hands-on coding session.
Modalitΰ mista
Mixed mode
Presentazione report scritto
Written report presentation
P.D.2-2 - Febbraio
P.D.2-2 - February