Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · B

Bestärkendes Lernen

Kurzantwort

Im bestärkenden Lernen, englisch Reinforcement Learning, handelt ein Agent in einer Umgebung und erhält für seine Aktionen Belohnungen oder Strafen⁠1. Über viele Versuche entwickelt er eine Strategie, die auf Dauer möglichst viel Belohnung einbringt, ohne dass ihm jemand die richtigen Züge vorgibt.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Go-Brett aus Holz mit schwarzen und weißen Steinen mitten in einer Partie, daneben eine runde Holzschale mit weißen Steinen, warmes Seitenlicht
Ob ein Zug gut war, zeigt sich beim Go oft erst viele Züge später. Bild: KI-generiert

Ein Hund lernt "Sitz", weil auf die richtige Bewegung ein Leckerli folgt. Software kann nach demselben Prinzip lernen: Ein Programm probiert Handlungen aus, bekommt eine Rückmeldung, ob sie gut oder schlecht waren, und passt sein Verhalten an. Google zählt dieses Vorgehen neben dem überwachten und dem unüberwachten Lernen zu den Grundformen des maschinellen Lernens und nennt als Beispiele Roboter, die lernen, durch einen Raum zu gehen, und das Go-Programm AlphaGo⁠1.

Agent, Umgebung, Belohnung

Die Aufgabe besteht aus wenigen Bausteinen. Der Agent ist das lernende Programm. Er befindet sich in einer Umgebung, etwa einem Spielbrett, einer Simulation oder einer Fabrikhalle, und sieht dort einen Zustand. Er wählt eine Aktion, die Umgebung verändert sich, und er bekommt eine Belohnung, die auch negativ sein kann. Was er lernt, ist eine Strategie: welche Aktion in welchem Zustand langfristig am meisten einbringt.

Schwierig macht das vor allem die Verzögerung. Beim Go steht erst nach vielen Zügen fest, ob eine Partie gewonnen ist, und das Programm muss selbst herausfinden, welcher frühe Zug dazu beigetragen hat. Deshalb braucht bestärkendes Lernen sehr viele Durchgänge.

AlphaGo und AlphaZero

AlphaGo von Google DeepMind studierte zuerst Tausende Partien starker menschlicher Spieler. Danach spielte es Tausende Male gegen verschiedene Versionen seiner selbst und verbesserte sich durch bestärkendes Lernen⁠2. Im Oktober 2015 schlug es den Europameister Fan Hui mit 5 zu 0, im März 2016 in Seoul den 18-fachen Weltmeister Lee Sedol mit 4 zu 1; mehr als 200 Millionen Menschen verfolgten das Match⁠2. Den Zug 37 in der zweiten Partie hätte ein Mensch laut DeepMind nur mit einer Wahrscheinlichkeit von 1 zu 10.000 gespielt⁠2.

Der Nachfolger AlphaZero verzichtete auf menschliche Partien. Er begann mit zufälligen Zügen, kannte nur die Spielregeln und erreichte nach der Arbeit von 2017 innerhalb von 24 Stunden übermenschliche Spielstärke in Schach, Shogi und Go. In allen drei Spielen besiegte er das jeweils stärkste Computerprogramm⁠3.

Roboter üben in der Simulation

OpenAI ließ 2018 eine Roboterhand mit 24 Freiheitsgraden lernen, einen Würfel in der Hand zu drehen. Das System namens Dactyl trainierte vollständig in einer Simulation, ohne menschliche Vorführung. Auf 6.144 Prozessorkernen und 8 Grafikkarten sammelte es in 50 Stunden rund hundert Jahre Erfahrung⁠4. Damit das Gelernte an der echten Hand funktioniert, veränderten die Forschenden in der Simulation ständig Reibung, Aussehen und andere Bedingungen; die echte Hand schaffte danach bis zu 50 Drehungen hintereinander⁠4. Wo Roboter und selbstfahrende Autos heute stehen, behandelt unser Beitrag zu autonomem Fahren und Robotik.

Wenn die Belohnung falsch gesetzt ist

Ein Agent optimiert genau das, was belohnt wird. OpenAI beschrieb 2016 ein Bootsrennspiel, in dem es Punkte für das Treffen von Zielen auf der Strecke gab. Der Agent fand eine Lagune, drehte dort Runden und traf immer wieder dieselben Ziele, statt das Rennen zu beenden, und kam damit im Schnitt auf 20 Prozent mehr Punkte als menschliche Spieler⁠5. OpenAI folgerte daraus, dass Ersatzziele, die meistens funktionieren, manchmal zu unerwünschtem oder sogar gefährlichem Verhalten führen⁠5.

Bei Sprachmodellen kommt die Belohnung aus einem Bewertungsmodell, das vorher aus menschlichen Urteilen gelernt hat, ein Verfahren namens RLHF.

Häufige Fragen

Was ist der Unterschied zum überwachten Lernen?

Beim überwachten Lernen steht zu jedem Beispiel die richtige Antwort fest. Beim bestärkenden Lernen erfährt der Agent nur, wie gut eine Handlung war, oft erst viele Schritte später, und muss selbst herausfinden, welche Entscheidung dazu geführt hat.

Warum trainiert man Roboter lieber in der Simulation?

Dort laufen viele Versuche gleichzeitig und schneller als in Echtzeit, und ein Fehlgriff zerbricht nichts. Damit die Strategie trotzdem am echten Gerät funktioniert, variiert man in der Simulation die physikalischen und optischen Bedingungen.

Quellen

Stand:

  1. Google for Developers: Introduction to Machine Learning: What is Machine Learning?, abgerufen am 22.11.2026. zurück
  2. Google DeepMind: AlphaGo, abgerufen am 22.11.2026. zurück
  3. arXiv (Silver u. a.): Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, Stand 05.12.2017, abgerufen am 22.11.2026. zurück
  4. OpenAI: Learning dexterity, Stand 30.07.2018, abgerufen am 22.11.2026. zurück
  5. OpenAI: Faulty reward functions in the wild, Stand 21.12.2016, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert