Algorithmes inertiels et géométrie : taux de convergence et adaptativité
Mes travaux en optimisation, menés avec Jean-François Aujol (IMB, Bordeaux), Charles Dossal (IMT, INSA Toulouse) et nos doctorants, portent sur les méthodes inertielles de premier ordre – Heavy Ball, accélération de Nesterov, FISTA. Le fil directeur est que leur vitesse de convergence n'est pas gouvernée par la seule convexité, mais par la géométrie de la fonction au voisinage de son ensemble de minimiseurs : propriété de Łojasiewicz, conditions de croissance et d'aplatissement, convexité quasi-forte. Formaliser cette géométrie permet d'établir des taux fins, de déterminer quand un algorithme est réellement optimal, et de concevoir des méthodes qui s'adaptent à une géométrie inconnue. Le modèle continu – l'équation différentielle amortie dont l'algorithme est une discrétisation – en est l'outil d'analyse privilégié : il indique quels taux espérer et sous quelles hypothèses, les résultats étant ensuite établis sur les schémas discrets.
Axes de travail
Algorithmes discrets
Deux familles sont traitées en parallèle. Pour Nesterov et FISTA : avec son réglage usuel, l'accélération de Nesterov n'est pas optimale pour toutes les géométries et peut être plus lente que la descente de gradient sur certaines classes fortement convexes (SIAM J. Optim., 2019) ; suivent des taux sous conditions de croissance et d'aplatissement (avec Vassilis Apidopoulos, Math. Program., 2021), et le constat que FISTA s'adapte seule à la forte convexité, sans que le module intervienne dans le réglage (Math. Program., 2023). Pour Heavy Ball : taux sous convexité quasi-forte (SIAM J. Optim., 2022), sous la propriété de Łojasiewicz (Math. Program., 2023), et plus récemment hors du cadre fortement convexe (avec H. Labarrière, soumis).
Décroissance de l'erreur (échelle log) sur un problème de moindres carrés : Forward-Backward (bleu), FISTA avec α=3 (rouge) et α=10 (orange), algorithme de Nesterov pour fonctions fortement convexes avec μ exact (vert) et μ sous-estimé d'un facteur 10 (gris) — illustration du résultat Math. Program., 2023 cité ci-dessus.
Dynamiques continues
Une part des résultats porte sur les dynamiques continues elles-mêmes, où le rôle de l'amortissement et celui de la géométrie s'isolent sans interférence de la discrétisation : taux pour des dynamiques inertielles amorties sous conditions géométriques et perturbations, englobant Heavy Ball et Nesterov dans une même analyse (avec Othmane Sebbouh, SIAM J. Optim., 2020), puis pour des dynamiques à amortissement piloté par la hessienne (avec Van Hao Hoang et Hippolyte Labarrière, Appl. Math. Optim., 2023).
Vers des algorithmes sans paramètre
Les taux mis en évidence dépendent de constantes inconnues en pratique – paramètre de croissance, constante de Lipschitz. La thèse d'Hippolyte Labarrière (INSA Toulouse, 2023), co-encadrée avec J.-F. Aujol et Ch. Dossal, a ouvert cette direction : estimation automatique du paramètre de croissance pour piloter le redémarrage de FISTA (J. Optim. Theory Appl., 2025), puis un FISTA sans paramètre combinant redémarrage adaptatif et backtracking sur la constante de Lipschitz (avec Luca Calatroni, SIAM J. Optim., 2024), et établi la convergence forte des itérés de FISTA sous conditions de croissance höldérienne et quadratique, sans hypothèse d'unicité du minimiseur (Math. Program., à paraître).
Non convexe, stochastique, apprentissage
Un dernier axe relâche la convexité et introduit le bruit. Avec Marc Dambrine et Bénédicte Puig (LMAP, Pau), nous modélisons les méthodes de premier ordre bruitées par des équations différentielles stochastiques (SIAM J. Optim., 2024). La thèse de Julien Hermant (IMB, en cours), co-encadrée avec J.-F. Aujol et Ch. Dossal, étend l'analyse de l'accélération de Nesterov au cadre non convexe quasar-convexe (Optimization, 2026), met en évidence le rôle de la corrélation entre gradients successifs dans l'accélération de SGD avec momentum (ICLR 2025), et explore les versions « continuisées » de l'accélération de Nesterov (avec Lorick Huang, soumis).
Travaux en cours
Ces axes se poursuivent notamment dans le cadre du projet ANR SOS2ID (2025 →), qui étend ces schémas inertiels aux dimensions infinies et à des cadres stochastiques plus généraux, ainsi que par plusieurs articles actuellement soumis ou en prépublication — voir la page Publications.
Contrats de recherche
Encadrement doctoral
Publications récentes
Sélection des articles publiés, 2024–2026 – liste complète sur la page Publications.