Reinforcement Learning: An Introduction

La nouvelle édition considérablement élargie et mise à jour d'un texte largement utilisé sur l'apprentissage par renforcement, l'un des domaines de recherche les plus actifs en intelligence artificielle.

L'apprentissage par renforcement est une approche computationnelle de l'apprentissage par laquelle un agent tente de maximiser le montant total de récompense qu'il reçoit tout en interagissant avec un environnement complexe et incertain. Dans "Apprentissage par Renforcement", Richard Sutton et Andrew Barto offrent un exposé clair et simple des idées et algorithmes clés du domaine. Cette deuxième édition a été considérablement élargie et mise à jour, présentant de nouveaux sujets et actualisant la couverture d'autres sujets.

Comme la première édition, cette deuxième édition se concentre sur les algorithmes d'apprentissage en ligne fondamentaux, avec le matériel plus mathématique présenté dans des encadrés ombragés. La Partie I couvre autant que possible l'apprentissage par renforcement sans dépasser le cas tabulaire pour lequel des solutions exactes peuvent être trouvées. De nombreux algorithmes présentés dans cette partie sont nouveaux dans cette deuxième édition, y compris UCB, Expected Sarsa et Double Learning. La Partie II étend ces idées à l'approximation de fonction, avec de nouvelles sections sur des sujets tels que les réseaux de neurones artificiels et la base de Fourier, et offre un traitement élargi de l'apprentissage hors politique et des méthodes de gradient de politique. La Partie III comprend de nouveaux chapitres sur les relations de l'apprentissage par renforcement avec la psychologie et les neurosciences, ainsi qu'un chapitre de cas d'études mis à jour incluant AlphaGo et AlphaGo Zero, le jeu Atari, et la stratégie de paris d'IBM Watson. Le dernier chapitre discute des impacts sociétaux futurs de l'apprentissage par renforcement.