Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · D

Data Labeling

Kurzantwort

Beim Data Labeling versehen Menschen Rohdaten mit der richtigen Antwort, etwa einer Kategorie für ein Foto, einem Rahmen um ein Objekt oder der Abschrift einer Tonaufnahme. Diese Labels sind die Werte, die ein Modell beim überwachten Lernen vorhersagen soll⁠3.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Altes Prägegerät neben Reihen schlichter Einmachgläser mit Bohnen, Linsen und Reis, an jedem Glas ein leerer Anhänger aus Packpapier, warmes Küchenlicht
Erst die Beschriftung sagt, was in welchem Glas steckt. Bild: KI-generiert

Labels sind die Antworten, an denen ein Modell beim überwachten Lernen seine Vorhersagen misst, und wie gut es später arbeitet, hängt unmittelbar davon ab, wie sorgfältig beschriftet wurde. Soll ein Modell auf Röntgenbildern Knochenbrüche finden, muss vorher jemand auf Tausenden Aufnahmen markiert haben, wo ein Bruch ist und wo keiner.

Was beschriftet wird

Bei Bildern reicht die Spanne von einer einzigen Kategorie pro Foto über Rahmen um jedes Auto und jeden Fußgänger, wie sie die Objekterkennung braucht, bis zu pixelgenauen Umrissen. Bei Texten vergeben Menschen Themen, Stimmungen oder markieren Namen von Personen und Orten. Tonaufnahmen werden abgeschrieben. Für Sprachmodelle schreiben Menschen Musterantworten und bringen Antworten des Modells in eine Rangfolge, aus der beim RLHF ein Bewertungsmodell entsteht.

Fehler selbst in bekannten Datensätzen

Wie fehleranfällig Labels sind, zeigte 2021 eine Untersuchung von Curtis Northcutt, Anish Athalye und Jonas Mueller. In den Testdaten von zehn viel genutzten Datensätzen fanden sie im Schnitt mindestens 3,3 Prozent falsche Labels, in den Validierungsdaten von ImageNet mindestens 6 Prozent. Sie ließen ein Verfahren verdächtige Stellen markieren und diese von Menschen nachprüfen; im Schnitt bestätigten sich 51 Prozent der Verdachtsfälle⁠2.

Das hat Folgen für Ranglisten. Auf ImageNet mit korrigierten Labels schnitt das kleinere Netz ResNet-18 besser ab als das größere ResNet-50, sobald der Anteil ursprünglich falsch beschrifteter Testbeispiele um nur 6 Prozent stieg⁠2. Wer Modelle nach solchen Ranglisten auswählt, sollte deshalb wissen, wie sauber die Testdaten beschriftet sind.

Für eigene Projekte empfehlen wir eine schriftliche Anleitung mit Grenzfällen und eine Stichprobe, die zwei Personen unabhängig beschriften. Wie oft sie übereinstimmen, zeigt, ob die Aufgabe klar genug beschrieben ist.

Wer die Arbeit macht

Wie die Arbeit bei Dienstleistern aussehen kann, beschrieb die Zeitschrift TIME im Januar 2023. Demnach ließ OpenAI ab November 2021 bei der Firma Sama Beschäftigte in Kenia Zehntausende Textstellen lesen und markieren, die Gewalt, Hassrede und sexuellen Missbrauch beschrieben. Daraus entstand ein Filter gegen solche Inhalte in ChatGPT⁠1. Nach Steuern verdienten die Beschäftigten laut TIME je nach Erfahrung und Leistung etwa 1,32 bis 2 US-Dollar pro Stunde; Sama nannte 1,46 bis 3,74 US-Dollar. OpenAI zahlte Sama laut Vertrag 12,50 US-Dollar pro Stunde⁠1. Alle vier befragten Beschäftigten beschrieben die Arbeit als seelisch belastend und sagten, Beratung sei selten gewesen; Sama bestreitet das und verweist auf jederzeit verfügbare Therapeuten. Sama beendete die Arbeit für OpenAI im Februar 2022, acht Monate früher als geplant⁠1.

Maschinen als Helfer

Ein Modell kann Vorschläge machen, die Menschen nur noch prüfen und korrigieren. Das spart Zeit, schleust aber die Fehler des Vorschlagsmodells leicht in die neuen Labels ein. Verfahren wie Semi-supervised Learning kommen mit wenigen Labels aus und nutzen die übrigen Daten ohne Beschriftung. Vorhandene Bilder zu drehen oder zu spiegeln heißt Data Augmentation; die Zahl der Labels wächst dadurch nicht, nur die Vielfalt der schon beschrifteten Beispiele.

Häufige Fragen

Was kostet Data Labeling?

Feste Preise nennen wir nicht, weil sie stark von Aufgabe, Genauigkeit und Sprache abhängen. Ein Rahmen um ein Auto ist schneller gezogen als eine pixelgenaue Maske oder die fachliche Bewertung eines Arztbriefs.

Kann eine KI die Daten selbst beschriften?

Teilweise. Modelle liefern Vorschläge, doch ihre Fehler wandern dabei leicht in die neuen Labels. Eine Stichprobe, die Menschen gegenprüfen, gehört deshalb immer dazu.

Quellen

Stand:

  1. TIME (Billy Perrigo): Exclusive: OpenAI Used Kenyan Workers on Less Than 2 US-Dollar Per Hour to Make ChatGPT Less Toxic, Stand 18.01.2023, abgerufen am 22.11.2026. zurück
  2. arXiv (Northcutt, Athalye, Mueller): Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks, Stand 26.03.2021, abgerufen am 22.11.2026. zurück
  3. Google for Developers: Introduction to Machine Learning: Supervised Learning, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert