Reinforcement Learning: An Introduction

La réédition considérablement élargie et mise à jour d'un texte largement diffusé sur l'apprentissage par renforcement, l'un des domaines de recherche les plus actifs en intelligence artificielle.

L'apprentissage par renforcement est une approche basée sur l'ordinateur pour l'apprentissage, où un agent essaie de maximiser le total des récompenses qu'il reçoit en interagissant avec un environnement complexe et incertain. Dans "Reinforcement Learning", Richard Sutton et Andrew Barto offrent une présentation claire et simple des idées et algorithmes centraux du domaine. Cette deuxième édition a été considérablement élargie et mise à jour, avec de nouveaux sujets abordés et d'autres mis à jour.

Comme la première édition, cette deuxième édition se concentre également sur les algorithmes d'apprentissage en ligne fondamentaux, avec le matériel mathématique mis en évidence dans des encadrés. La Partie I couvre autant que possible l'apprentissage par renforcement, sans dépasser le cas tabulaire pour lequel des solutions exactes peuvent être trouvées. De nombreux algorithmes présentés dans cette partie sont nouveaux dans cette deuxième édition, y compris UCB, Expected Sarsa et Double Learning. La Partie II étend ces idées à l'approximation de fonction, avec de nouvelles sections sur des sujets tels que les réseaux neuronaux artificiels et la base de Fourier, et propose un traitement approfondi de l'apprentissage hors politique et des méthodes de gradient de politique. La Partie III contient de nouveaux chapitres sur les relations de l'apprentissage par renforcement avec la psychologie et les neurosciences, ainsi qu'un chapitre mis à jour sur les études de cas, incluant AlphaGo et AlphaGo Zero, le jeu des jeux Atari et la stratégie de pari d'IBM Watson. Le dernier chapitre discute des futures implications sociétales de l'apprentissage par renforcement.