Reinforcement Learning: An Introduction

La réédition considérablement élargie et mise à jour d'un texte largement diffusé sur l'apprentissage par renforcement, l'un des domaines de recherche les plus actifs en intelligence artificielle.

L'apprentissage par renforcement est une approche basée sur l'ordinateur pour l'apprentissage, où un agent tente de maximiser la somme totale des récompenses qu'il reçoit en interagissant avec un environnement complexe et incertain. Dans "Reinforcement Learning", Richard Sutton et Andrew Barto offrent une présentation claire et simple des idées et algorithmes centraux du domaine. Cette deuxième édition a été considérablement élargie et mise à jour, avec de nouveaux sujets traités et d'autres actualisés.

Comme la première édition, cette deuxième édition se concentre également sur les algorithmes fondamentaux d'apprentissage en ligne, avec le matériel mathématique mis en évidence dans des encadrés. La Partie I couvre autant que possible l'apprentissage par renforcement, sans dépasser le cas tabulaire pour lequel des solutions exactes peuvent être trouvées. De nombreux algorithmes présentés dans cette partie sont nouveaux dans cette deuxième édition, y compris UCB, Expected Sarsa et Double Learning. La Partie II étend ces idées à l'approximation de fonction, avec de nouvelles sections sur des sujets tels que les réseaux neuronaux artificiels et la base de Fourier, et propose un traitement approfondi de l'apprentissage hors politique et des méthodes de gradient de politique. La Partie III contient de nouveaux chapitres sur les relations de l'apprentissage par renforcement avec la psychologie et les neurosciences, ainsi qu'un chapitre mis à jour sur les études de cas, incluant AlphaGo et AlphaGo Zero, le jeu des jeux Atari et la stratégie de paris d'IBM Watson. Le dernier chapitre discute des impacts sociétaux futurs de l'apprentissage par renforcement.