Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · D

Daten­vor­verarbeitung

Kurzantwort

In einer Umfrage von Anaconda gaben 3.493 Datenfachleute 2022 an, knapp 38 Prozent ihrer Arbeitszeit mit dem Vorbereiten und Bereinigen von Daten zu verbringen⁠4. Diese Arbeit heißt Datenvorverarbeitung: fehlende Werte behandeln, Zahlen auf vergleichbare Skalen bringen und Kategorien in Zahlen übersetzen, bevor ein Modell lernt⁠123.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Feines Küchensieb über einer weißen Schüssel, in dem Sieb liegen braune Linsen und einige kleine graue Steinchen
Was nicht ins Modell gehört, bleibt im Sieb hängen. Bild: KI-generiert

Kaum ein Datensatz kommt so an, wie ein Lernverfahren ihn braucht. In einer Tabelle mit Kundendaten kann das Alter bei manchen Einträgen fehlen, das Einkommen von ein paar Hundert bis zu Millionenbeträgen reichen, und der Wohnort steht als Text in der Spalte. Datenvorverarbeitung, im Englischen Preprocessing, bringt solche Trainingsdaten in eine Form, mit der ein Modell rechnen kann. Ob die Daten im laufenden Betrieb eines Unternehmens stimmen, wer sie pflegt und wie Fehler auffallen, ist eine Frage der Datenqualität und gehört nicht zu diesem Rechenschritt.

Lücken füllen

Die Werkzeuge von scikit-learn gehen davon aus, dass alle Werte einer Tabelle Zahlen mit Bedeutung sind; leere Felder oder Markierungen für ungültige Zahlen vertragen sie nicht⁠2. Die einfachste Lösung, unvollständige Zeilen zu löschen, kostet Daten, die trotz der Lücke nützlich wären⁠2. Stattdessen lassen sich die Lücken füllen. Der `SimpleImputer` setzt dafür den Mittelwert, den Median, den häufigsten Wert oder eine feste Zahl der jeweiligen Spalte ein. Aufwendigere Verfahren schätzen den fehlenden Wert aus ähnlichen Zeilen oder aus den übrigen Spalten⁠2. Weil schon die Tatsache, dass ein Wert fehlt, etwas aussagen kann, lässt sich zusätzlich eine Spalte anlegen, die jede Lücke markiert⁠2.

Skalieren: Normalisierung und Standardisierung

Liegen Merkmale auf sehr unterschiedlichen Skalen, hilft es, sie anzugleichen. Vier Vorteile zählt Google auf: Das Training konvergiert schneller, die Vorhersagen werden besser, sehr große Werte führen seltener zu ungültigen Rechenergebnissen, und das Modell lernt für jedes Merkmal angemessene Gewichte⁠3. Welche Methode passt, hängt von der Verteilung ab. Lineares Skalieren eignet sich für ungefähr gleichmäßig verteilte Werte, der Z-Wert für normalverteilte, der Logarithmus für Daten nach einem Potenzgesetz, und das Abschneiden an einer Grenze dämpft extreme Ausreißer⁠3.

In scikit-learn heißen die passenden Bausteine `MinMaxScaler`, der Werte meist in den Bereich von 0 bis 1 schiebt, und `StandardScaler`, der jede Spalte auf den Mittelwert null und die Varianz eins bringt⁠1. Das Erste wird oft Normalisierung genannt, das Zweite Standardisierung. Viele Verfahren in scikit-learn arbeiten schlecht, wenn die Merkmale nicht ungefähr standardnormalverteilt aussehen⁠1. Bei vielen Ausreißern rät die Dokumentation zum `RobustScaler`, der Mitte und Spannweite unempfindlicher schätzt⁠1.

Kategorien in Zahlen übersetzen

Texte wie "Hamburg", "Köln" und "Leipzig" kann ein Modell nicht verrechnen. Der `OneHotEncoder` macht aus einer Spalte mit n möglichen Werten n Spalten mit je einer 1 an der passenden Stelle und sonst Nullen⁠1. Eine Rangfolge, die es in den Daten gar nicht gibt, entsteht dabei nicht. Wie sich aus solchen Rohspalten neue, aussagekräftigere Merkmale bauen lassen, gehört zum Feature Engineering.

Die richtige Reihenfolge

Mittelwerte, Spannweiten und Füllwerte werden nur aus den Trainingsdaten berechnet und dann unverändert auf Test- und neue Daten angewandt⁠1. Rechnet man sie über alle Daten, fließt Wissen aus dem Prüfteil ins Training. Bei der Kreuzvalidierung muss das in jedem Durchgang neu geschehen, und scikit-learn empfiehlt dafür eine Pipeline, die Vorverarbeitung und Modell zusammen behandelt⁠5.

Häufige Fragen

Was ist der Unterschied zwischen Normalisierung und Standardisierung?

Normalisierung schiebt Werte meist in einen festen Bereich wie 0 bis 1. Standardisierung verschiebt sie auf den Mittelwert null und teilt durch die Standardabweichung⁠13.

Soll ich Zeilen mit fehlenden Werten einfach löschen?

Bei wenigen Lücken kann das reichen. Jede gelöschte Zeile nimmt aber auch die vorhandenen Werte mit, deshalb ist Auffüllen oft die bessere Wahl⁠2.

Quellen

Stand:

  1. scikit-learn 1.9.1: Preprocessing data, abgerufen am 22.11.2026. zurück
  2. scikit-learn 1.9.1: Imputation of missing values, abgerufen am 22.11.2026. zurück
  3. Google for Developers: Machine Learning Crash Course: Numerical data, Normalization, abgerufen am 22.11.2026. zurück
  4. Anaconda: 2022 State of Data Science Report, Stand 2022, abgerufen am 22.11.2026. zurück
  5. scikit-learn 1.9.1: Cross-validation: evaluating estimator performance, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert