Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · G

Gradienten­abstieg

Kurzantwort

Stell dir vor, du stehst im Nebel an einem Hang und willst ins Tal: Du tastest, wo es am steilsten bergab geht, und machst dorthin einen kleinen Schritt. Nach diesem Prinzip verringert der Gradientenabstieg, englisch gradient descent, den Fehler eines Modells, bis weitere Schritte kaum noch etwas bringen⁠1. Beim Training neuronaler Netze laufen meist Varianten wie SGD mit kleinen Datenpaketen oder Adam⁠2.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
U-förmige Kurve des Verlusts über einem Gewicht, eine Kugel rollt in mehreren kleiner werdenden Schritten vom linken Hang hinab ins Tal
Schritt für Schritt bergab: Jeder Punkt ist ein Durchgang mit etwas kleinerem Verlust. Grafik: KI-Blog

Google beschreibt den Gradientenabstieg als mathematische Technik, die wiederholt nach den Gewichten und dem Bias sucht, bei denen ein Modell den kleinsten Verlust hat⁠1. Neuronale Netze werden in der Regel mit einer seiner Varianten trainiert⁠2. Die Idee selbst ist alt: Als Verfahren, das die Lösung eines Optimierungsproblems schrittweise annähert, führte Augustin-Louis Cauchy es im Jahr 1847 ein⁠5.

Ein Durchgang Schritt für Schritt

Der Ablauf wiederholt sich immer gleich⁠1:

  1. Das Modell startet mit Anfangswerten für seine Parameter, im Lehrbeispiel von Google mit Gewicht und Bias null.
  2. Es berechnet mit diesen Werten den Verlust, also wie weit seine Vorhersagen danebenliegen. Wie dieser Wert entsteht, legt die Verlustfunktion fest.
  3. Der Gradient zeigt, in welche Richtung der Verlust am stärksten wächst. Das Modell rückt ein wenig in die Gegenrichtung.
  4. Mit den neuen Werten beginnt der nächste Durchgang.

Die Gradienten liefert in neuronalen Netzen die Backpropagation. Wie groß jeder Schritt ausfällt, regelt ein eigener Einstellwert, die Lernrate. Irgendwann senken weitere Durchgänge den Verlust nicht mehr; das Modell ist dann konvergiert⁠1. Bei linearen Modellen ist die Verlustfläche konvex, ein konvergiertes Modell hat also das tiefste erreichbare Tal gefunden⁠1. Die Fläche eines neuronalen Netzes ist zerklüftet. Sebastian Ruder verweist in seiner Übersicht auf Arbeiten, nach denen vor allem Sattelpunkte bremsen: Stellen, an denen es in einer Richtung bergauf und in einer anderen bergab geht und der Gradient fast überall null ist⁠2.

Wie viele Daten in einen Schritt fließen

Ruder unterscheidet drei Varianten⁠2. Der klassische Batch-Gradientenabstieg berechnet den Gradienten über den gesamten Trainingsdatensatz. Das ist langsam, und passt der Datensatz nicht in den Speicher, geht es gar nicht. Der stochastische Gradientenabstieg (SGD) aktualisiert die Parameter nach jedem einzelnen Beispiel; das spart Rechenarbeit, macht die Schritte aber unruhig. Der Mini-Batch-Gradientenabstieg liegt dazwischen und nimmt jeweils ein kleines Paket von Beispielen, laut Ruder meist zwischen 50 und 256⁠2. Diese Form ist beim Training neuronaler Netze die Regel, und der Name SGD wird in der Praxis auch für sie verwendet⁠2.

Schwung und angepasste Schritte

Reiner SGD pendelt in schmalen Tälern hin und her. Das Momentum-Verfahren addiert deshalb einen Teil des vorigen Schritts zum aktuellen und dämpft so das Pendeln⁠2. Diederik Kingma und Jimmy Ba stellten im Dezember 2014 den Optimierer Adam vor, ein Verfahren erster Ordnung für verrauschte Zielfunktionen, das wenig Speicher braucht und dessen Einstellwerte selten nachjustiert werden müssen⁠3. Adam passt die Schrittweite für jeden Parameter einzeln an und merkt sich dafür gleitende Mittel der bisherigen Gradienten und ihrer Quadrate; die Autoren schlagen als Vorgaben 0,9 und 0,999 für die beiden Mittelwerte vor⁠2. Unter den Verfahren mit angepasster Schrittweite hält Ruder Adam für die wohl beste Gesamtwahl. Er merkt aber an, dass viele Arbeiten mit schlichtem SGD und einer sinkenden Lernrate auskommen; SGD findet sein Minimum meist auch, braucht dafür aber unter Umständen deutlich länger⁠2.

In PyTorch stehen 15 Optimierer bereit, darunter SGD, Adam, AdamW und RMSprop. Jeder hat eine Methode `step()`, die nach der Berechnung der Gradienten die Parameter aktualisiert⁠4.

Häufige Fragen

Was unterscheidet Gradientenabstieg und Backpropagation?

Backpropagation rechnet aus, wie sich der Fehler mit jedem Gewicht ändert. Der Gradientenabstieg nutzt diese Werte und verschiebt die Gewichte.

Findet der Gradientenabstieg immer die beste Lösung?

Bei linearen Modellen mit konvexer Verlustfläche kommt er dem Minimum sehr nahe⁠1. In neuronalen Netzen kann er an Sattelpunkten bremsen oder in einer Mulde enden, die nicht die tiefste ist⁠2.

Ist SGD dasselbe wie Mini-Batch-Gradientenabstieg?

Streng genommen nutzt SGD je Schritt ein einzelnes Beispiel. Im Alltag heißt aber auch das Training mit kleinen Paketen SGD, so auch in den Optimierern von PyTorch⁠24.

Quellen

Stand:

  1. Google for Developers: Machine Learning Crash Course: Linear regression, Gradient descent, abgerufen am 22.11.2026. zurück
  2. arXiv (Sebastian Ruder): An overview of gradient descent optimization algorithms, Stand 15.06.2017, abgerufen am 22.11.2026. zurück
  3. arXiv (Kingma, Ba): Adam: A Method for Stochastic Optimization, Stand 30.01.2017, abgerufen am 22.11.2026. zurück
  4. PyTorch-Dokumentation 2.15: torch.optim, Stand 27.08.2026, abgerufen am 22.11.2026. zurück
  5. Goodfellow, Bengio, Courville: Deep Learning, Kapitel 6: Deep Feedforward Networks, Stand 2016, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog