Learning HJB Viscosity Solutions with PINNs for Continuous-Time Reinforcement Learning - LARA - Libre accès aux rapports scientifiques et techniques Accéder directement au contenu
Rapport Année : 2024

Learning HJB Viscosity Solutions with PINNs for Continuous-Time Reinforcement Learning

Alena Shilova
  • Fonction : Auteur
  • PersonId : 1126323
Thomas Delliaux
  • Fonction : Auteur
  • PersonId : 1348770
Philippe Preux
Bruno Raffin

Résumé

Despite recent advances in Reinforcement Learning (RL), the Markov Decision Processes are not always the best choice to model complex dynamical systems requiring interactions at high frequency. Being able to work with arbitrary time intervals, Continuous Time Reinforcement Learning (CTRL) is more suitable for those problems. Instead of the Bellman equation operating in discrete time, it is the Hamilton-Jacobi-Bellman (HJB) equation that describes value function evolution in CTRL. Even though the value function is a solution of the HJB equation, it may not be its unique solution. To distinguish the value function from other solutions, it is important to look for the viscosity solutions of the HJB equation. The viscosity solutions constitute a special class of solutions that possess uniqueness and stability properties. This paper proposes a novel approach to approximate the value function by training a physics informed neural network (PINN) through a specific ε-scheduling iterative process constraining the PINN to converge towards the viscosity solution and shows experimental results with classical control tasks, where PINNs outperform popular RL algorithms in a nearly continuous-time setting.
Malgré les progrès récents en matière d’apprentissage par renforcement (RL), les processus décisionnels de Markov ne constituent pas toujours le meilleur choix pour modéliser des systèmes dynamiques complexes nécessitant des interactions à haute fréquence. Étant capable de travailler avec des intervalles de temps arbitraires, l’apprentissage par renforcement en temps continu (CTRL) est plus adapté à ces problèmes. Au lieu de l’équation de Bellman fonctionnant en temps discret, c’est l’équation de Hamilton-Jacobi-Bellman (HJB) qui décrit l’évolution de la fonction valeur dans CTRL. Même si la fonction valeur est une solution de l’équation HJB, elle n’en est peut-être pas l’unique solution. Pour distinguer la fonction valeur des autres solutions, il est important de rechercher les solutions de viscosité de l’équation HJB. Les solutions de viscosité constituent une classe particulière de solutions possédant des propriétés uniques et de stabilité. Cet article propose une nouvelle approche pour approximer la fonction de valeur en entraînant un réseau neuronal informé par la physique (PINN) à travers un processus itératif de -scheduling contraignant le PINN à converger vers la solution de viscosité et montre des résultats expérimentaux avec tâches de contrôle classiques, dans lesquelles les PINN surpassent les algorithmes RL populaires dans un contexte de temps presque continu.
Fichier principal
Vignette du fichier
RR-9541.pdf (5.7 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Licence : CC BY - Paternité

Dates et versions

hal-04445160 , version 1 (08-02-2024)

Licence

Paternité

Identifiants

  • HAL Id : hal-04445160 , version 1

Citer

Alena Shilova, Thomas Delliaux, Philippe Preux, Bruno Raffin. Learning HJB Viscosity Solutions with PINNs for Continuous-Time Reinforcement Learning. RR-9541, Inria Lille - Nord Europe, CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189; Univ. Lille, CNRS, Centrale Lille, Inria UMR 9189 - CRIStAL,INRIA Lille Nord Europe, Villeneuve d’Ascq, France; Univ. Grenoble Alps, CNRS, Inria, Grenoble INP, LIG, 38000 Grenoble, France. 2024, pp.1-30. ⟨hal-04445160⟩
7 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More