Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · B

Bias-Variance-Tradeoff

Kurzantwort

Zwei Fehlerquellen ziehen in entgegengesetzte Richtungen: Ein zu einfaches Modell irrt systematisch, das ist der Bias, ein sehr flexibles reagiert stark auf Zufälle in den Trainingsdaten, das ist die Varianz⁠12. Mit wachsender Kapazität eines Modells sinkt der Bias meist, und die Varianz steigt. Gesucht ist der Bereich, in dem ihre Summe am kleinsten ist⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Vier Zielscheiben im Raster: Treffer eng in der Mitte, weit gestreut um die Mitte, eng gebündelt neben der Mitte und weit gestreut neben der Mitte
Bias verschiebt die Treffer, Varianz streut sie: die vier Fälle an der Zielscheibe. Grafik: KI-Blog

Vier Dartspieler werfen je zehn Pfeile. Beim ersten sitzen alle eng gebündelt in der Mitte. Die Pfeile des zweiten streuen weit, liegen im Schnitt aber ebenfalls mittig. Der dritte setzt alle dicht nebeneinander, nur eben links oben neben das Ziel, und beim vierten streuen sie weit und liegen obendrein daneben. Spieler zwei steht für hohe Varianz, Spieler drei für hohen Bias. Ein Modell des maschinellen Lernens lässt sich genauso beurteilen, wenn man es immer wieder mit anderen Stichproben trainiert und schaut, wo seine Vorhersagen landen.

Drei Anteile am Fehler

Im Handbuch der Python-Bibliothek scikit-learn wird der Fehler eines Modells auf neuen Daten in drei Teile zerlegt⁠2. Der Bias ist der durchschnittliche Fehler über verschiedene Trainingsmengen hinweg, er misst also, wie weit das Modell im Mittel danebenliegt. Die Varianz gibt an, wie empfindlich das Modell auf einen Wechsel der Trainingsmenge reagiert. Das Rauschen schließlich ist eine Eigenschaft der Daten selbst und lässt sich mit keinem Modell beseitigen⁠2. Für den mittleren quadratischen Fehler zeigt das Lehrbuch "Deep Learning" die Zerlegung als Formel: Der erwartete Fehler eines Schätzers ist das Quadrat seines Bias plus seine Varianz⁠1.

Der statistische Bias hat mit dem KI-Bias, der Benachteiligung von Menschen durch ein System, nur den Namen gemeinsam.

Die U-Kurve der Kapazität

Je mehr Kapazität ein Modell hat, je mehr verschiedene Funktionen es also abbilden kann, desto kleiner wird in der Regel sein Bias und desto größer seine Varianz⁠1. Trägt man den Gesamtfehler über der Kapazität auf, entsteht eine U-Form. Links vom Tiefpunkt liegt der Bereich der Unteranpassung, rechts der Bereich des Overfittings⁠1.

In der Praxis wird diese Abwägung meist über die Kreuzvalidierung entschieden, die das Lehrbuch als den gebräuchlichsten und empirisch sehr erfolgreichen Weg nennt⁠1. Hilfreich sind auch Lernkurven, die zeigen, ob ein Modell eher unter Bias oder unter Varianz leidet⁠2. Gegen hohe Varianz helfen mehr Trainingsdaten. Neue Daten zu sammeln lohnt laut scikit-learn aber nur, wenn sich der wahre Zusammenhang mit einem Modell geringerer Varianz nicht erfassen lässt⁠2. Eine andere Stellschraube ist die Regularisierung, die ein flexibles Modell gezielt einbremst.

Was moderne Netze an dem Bild ändern

Riesige neuronale Netze passen sich ihren Trainingsdaten oft bis auf den letzten Punkt an und schneiden trotzdem gut ab. Mikhail Belkin und drei Mitautoren haben dieses Verhalten 2019 in den Proceedings of the National Academy of Sciences beschrieben⁠3. Nach ihrer Analyse folgt der Fehler einer doppelten Abwärtskurve: Steigt die Kapazität über den Punkt hinaus, an dem das Modell die Trainingsdaten genau trifft, sinkt der Fehler auf neuen Daten wieder. Die klassische U-Kurve ist nach dieser Sicht ein Teil eines größeren Verlaufs⁠3.

Häufige Fragen

Heißt es Bias-Variance-Tradeoff oder Bias-Varianz-Dilemma?

Beide Namen meinen dasselbe. Im Deutschen findet sich auch die Form Verzerrung-Varianz-Dilemma.

Kann man Bias und Varianz gleichzeitig senken?

Mehr Trainingsdaten verringern die Varianz⁠2. Erlauben sie, ein flexibleres Modell mit kleinerem Bias einzusetzen, sinken beide Anteile. Bei gleicher Datenmenge verschiebt eine Änderung der Kapazität dagegen meist nur das Verhältnis⁠1.

Quellen

Stand:

  1. Goodfellow, Bengio, Courville: Deep Learning, Kapitel 5: Machine Learning Basics, Stand 2016, abgerufen am 22.11.2026. zurück
  2. scikit-learn 1.9.1: Validation curves: plotting scores to evaluate models, abgerufen am 22.11.2026. zurück
  3. arXiv (Belkin, Hsu, Ma, Mandal): Reconciling modern machine learning practice and the bias-variance trade-off, Stand 10.09.2019, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog