Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · R

ROC-Kurve

Kurzantwort

Die ROC-Kurve trägt für jede mögliche Schwelle eines Klassifikators ab, wie viele echte Treffer er findet und wie viele Fehlalarme er dafür in Kauf nimmt⁠1. Die Fläche unter der Kurve, kurz AUC, fasst das in einer Zahl zusammen: 0,5 entspricht Raten, 1 einer fehlerfreien Rangfolge⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Gewölbte ROC-Kurve über der gestrichelten Diagonale des Zufalls, die Fläche unter der Kurve ist hell eingefärbt
Je weiter die Kurve nach links oben reicht, desto besser trennt das Modell. Grafik: KI-Blog

Lange vor dem maschinellen Lernen nutzte die Signalentdeckungstheorie solche Kurven, um Trefferquote und Fehlalarmrate gegeneinander abzuwägen; später übernahm sie die medizinische Diagnostik⁠2. ROC steht für Receiver Operating Characteristic. Tom Fawcett hat 2006 eine Einführung veröffentlicht, die erklärt, wie man die Kurven im maschinellen Lernen liest und wo die Fallstricke liegen⁠2.

Was auf den Achsen steht

Auf der waagerechten Achse steht die Falsch-positiv-Rate: der Anteil der negativen Fälle, die das Modell fälschlich als positiv meldet⁠1. Auf der senkrechten Achse steht die Richtig-positiv-Rate, also der Recall aus Präzision und Recall⁠1. Jeder Punkt der Kurve gehört zu einer Schwelle. Ist sie sehr hoch, meldet das Modell fast nichts und sitzt links unten; ist sie sehr niedrig, meldet es alles und landet rechts oben.

Wie ein einzelner Punkt entsteht, zeigt ein Test an 100 kranken und 900 gesunden Personen: Bei einer bestimmten Schwelle meldet er 80 Kranke und 45 Gesunde als positiv. Die Richtig-positiv-Rate beträgt 80 von 100, also 0,8, die Falsch-positiv-Rate 45 von 900, also 0,05. Der Punkt liegt damit bei 0,05 auf der waagerechten und 0,8 auf der senkrechten Achse. Für jede weitere Schwelle kommt ein Punkt hinzu, und zusammen ergeben sie die Kurve.

Die Diagonale von links unten nach rechts oben ist die Linie des Zufalls, ein Münzwurf läge auf ihr⁠1. Je weiter sich die Kurve nach links oben wölbt, desto besser trennt das Modell die beiden Klassen. Der ideale Punkt liegt in der Ecke oben links, mit allen Treffern und keinem Fehlalarm⁠1.

Die Fläche unter der Kurve (AUC)

AUC steht für Area Under the Curve. Die Zahl hat eine anschauliche Bedeutung: Sie gibt die Wahrscheinlichkeit an, dass das Modell einem zufällig gezogenen positiven Fall einen höheren Wert gibt als einem zufällig gezogenen negativen⁠12. Fawcett setzt das mit dem Rangtest nach Wilcoxon gleich⁠2. Liegt die AUC unter 0,5, sortiert das Modell schlechter als der Zufall⁠1, und wer seine Entscheidungen umkehrt, bekommt ein besseres Modell⁠2.

Weil die AUC alle Schwellen einbezieht, eignet sie sich für den Vergleich von Modellen, bevor feststeht, wo die Schwelle im Einsatz liegen soll. In scikit-learn berechnet die Funktion roc_auc_score sie aus den Wahrscheinlichkeiten oder Rohwerten eines Modells⁠3.

Eine Schwelle aus der Kurve wählen

Google empfiehlt, die Schwelle nach den Kosten der Fehler zu wählen⁠1. Die Grafik am Anfang dieser Seite folgt einem Beispiel aus diesem Kurs mit einer AUC von 0,84. Punkt A liefert eine niedrige Falsch-positiv-Rate und nimmt dafür weniger Treffer in Kauf; er passt, wenn Fehlalarme teuer sind. Punkt C holt die höchste Richtig-positiv-Rate heraus und passt, wenn übersehene Fälle viel teurer sind als Fehlalarme. Sind beide Fehler etwa gleich teuer, bietet Punkt B den besten Ausgleich⁠1. Beim Spamfilter, wo eine wichtige Mail im Spamordner der teure Fehler ist, fällt die Wahl auf einen Punkt mit niedriger Falsch-positiv-Rate⁠1. Was an diesem Punkt passiert, zeigt die Konfusionsmatrix mit den vier Zählwerten.

Bei sehr seltenen Zielklassen ist Vorsicht angebracht. Die ROC-Kurve bleibt gleich, egal wie die Klassen verteilt sind, und kann dadurch eine Flut von Fehlalarmen verbergen⁠4. Takaya Saito und Marc Rehmsmeier empfehlen für solche Daten die Precision-Recall-Kurve, die den Einbruch der Präzision zeigt⁠4. Wer Modelle bei einer bereits festgelegten Schwelle vergleicht, greift eher zum F1-Score.

Häufige Fragen

Kann die AUC hoch sein, obwohl das Modell im Einsatz versagt?

Ja, vor allem bei sehr seltenen positiven Fällen. Viele Fehlalarme fallen in der ROC-Kurve dann kaum auf, während die Präzision im Betrieb niedrig ist⁠4.

Was hat der Gini-Koeffizient mit der AUC zu tun?

Er entspricht der doppelten Fläche zwischen Diagonale und Kurve. Es gilt: Gini plus 1 ergibt zweimal AUC⁠2.

Gibt es ROC-Kurven für mehr als zwei Klassen?

Ja, man zeichnet eine Kurve je Klasse gegen alle übrigen oder vergleicht die Klassen paarweise; scikit-learn unterstützt beide Wege⁠3. Fawcett merkt an, dass die Kurve dabei ihre Unabhängigkeit von der Klassenverteilung teilweise verliert⁠2.

Quellen

Stand:

  1. Google for Developers: Machine Learning Crash Course: Classification, ROC and AUC, abgerufen am 22.11.2026. zurück
  2. Pattern Recognition Letters (Tom Fawcett): An introduction to ROC analysis, Stand 2006, abgerufen am 22.11.2026. zurück
  3. scikit-learn: Metrics and scoring: quantifying the quality of predictions (Version 1.9.1), abgerufen am 22.11.2026. zurück
  4. PLOS ONE (Saito, Rehmsmeier): The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets, Stand 04.03.2015, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Grafiken: KI-Blog