Reinforcement Learning: An Introduction

Die erheblich erweiterte und aktualisierte Neuauflage eines weit verbreiteten Textes über Reinforcement Learning, einem der aktivsten Forschungsgebiete der künstlichen Intelligenz.

Reinforcement Learning ist ein rechnergestützter Ansatz zum Lernen, bei dem ein Agent versucht, die Gesamtmenge der Belohnung zu maximieren, die er beim Interagieren mit einer komplexen, unsicheren Umgebung erhält. In "Reinforcement Learning" bieten Richard Sutton und Andrew Barto eine klare und einfache Darstellung der zentralen Ideen und Algorithmen des Fachgebiets. Diese zweite Auflage wurde erheblich erweitert und aktualisiert, wobei neue Themen behandelt und andere Themen aktualisiert wurden.

Wie die erste Auflage konzentriert sich auch diese zweite Auflage auf die grundlegenden Online-Lernalgorithmen, wobei das mathematische Material in schattierten Kästen hervorgehoben wird. Teil I behandelt so viel wie möglich über Reinforcement Learning, ohne über den tabellarischen Fall hinauszugehen, für den exakte Lösungen gefunden werden können. Viele in diesem Teil vorgestellte Algorithmen sind neu in der zweiten Auflage, darunter UCB, Expected Sarsa und Double Learning. Teil II erweitert diese Ideen auf die Funktionsapproximation, mit neuen Abschnitten zu Themen wie künstlichen neuronalen Netzwerken und der Fourier-Basis, und bietet eine erweiterte Behandlung des Off-Policy-Lernens und der Policy-Gradient-Methoden. Teil III enthält neue Kapitel über die Beziehungen von Reinforcement Learning zur Psychologie und Neurowissenschaft sowie ein aktualisiertes Kapitel über Fallstudien, das AlphaGo und AlphaGo Zero, das Spielen von Atari-Spielen und die Wettstrategie von IBM Watson umfasst. Das letzte Kapitel diskutiert die zukünftigen gesellschaftlichen Auswirkungen des Reinforcement Learning.