Lexikon · D
Datenvorverarbeitung
Kurzantwort
In einer Umfrage von Anaconda gaben 3.493 Datenfachleute 2022 an, knapp 38 Prozent ihrer Arbeitszeit mit dem Vorbereiten und Bereinigen von Daten zu verbringen4. Diese Arbeit heißt Datenvorverarbeitung: fehlende Werte behandeln, Zahlen auf vergleichbare Skalen bringen und Kategorien in Zahlen übersetzen, bevor ein Modell lernt123.

Kaum ein Datensatz kommt so an, wie ein Lernverfahren ihn braucht. In einer Tabelle mit Kundendaten kann das Alter bei manchen Einträgen fehlen, das Einkommen von ein paar Hundert bis zu Millionenbeträgen reichen, und der Wohnort steht als Text in der Spalte. Datenvorverarbeitung, im Englischen Preprocessing, bringt solche Trainingsdaten in eine Form, mit der ein Modell rechnen kann. Ob die Daten im laufenden Betrieb eines Unternehmens stimmen, wer sie pflegt und wie Fehler auffallen, ist eine Frage der Datenqualität und gehört nicht zu diesem Rechenschritt.
Lücken füllen
Die Werkzeuge von scikit-learn gehen davon aus, dass alle Werte einer Tabelle Zahlen mit Bedeutung sind; leere Felder oder Markierungen für ungültige Zahlen vertragen sie nicht2. Die einfachste Lösung, unvollständige Zeilen zu löschen, kostet Daten, die trotz der Lücke nützlich wären2. Stattdessen lassen sich die Lücken füllen. Der `SimpleImputer` setzt dafür den Mittelwert, den Median, den häufigsten Wert oder eine feste Zahl der jeweiligen Spalte ein. Aufwendigere Verfahren schätzen den fehlenden Wert aus ähnlichen Zeilen oder aus den übrigen Spalten2. Weil schon die Tatsache, dass ein Wert fehlt, etwas aussagen kann, lässt sich zusätzlich eine Spalte anlegen, die jede Lücke markiert2.
Skalieren: Normalisierung und Standardisierung
Liegen Merkmale auf sehr unterschiedlichen Skalen, hilft es, sie anzugleichen. Vier Vorteile zählt Google auf: Das Training konvergiert schneller, die Vorhersagen werden besser, sehr große Werte führen seltener zu ungültigen Rechenergebnissen, und das Modell lernt für jedes Merkmal angemessene Gewichte3. Welche Methode passt, hängt von der Verteilung ab. Lineares Skalieren eignet sich für ungefähr gleichmäßig verteilte Werte, der Z-Wert für normalverteilte, der Logarithmus für Daten nach einem Potenzgesetz, und das Abschneiden an einer Grenze dämpft extreme Ausreißer3.
In scikit-learn heißen die passenden Bausteine `MinMaxScaler`, der Werte meist in den Bereich von 0 bis 1 schiebt, und `StandardScaler`, der jede Spalte auf den Mittelwert null und die Varianz eins bringt1. Das Erste wird oft Normalisierung genannt, das Zweite Standardisierung. Viele Verfahren in scikit-learn arbeiten schlecht, wenn die Merkmale nicht ungefähr standardnormalverteilt aussehen1. Bei vielen Ausreißern rät die Dokumentation zum `RobustScaler`, der Mitte und Spannweite unempfindlicher schätzt1.
Kategorien in Zahlen übersetzen
Texte wie "Hamburg", "Köln" und "Leipzig" kann ein Modell nicht verrechnen. Der `OneHotEncoder` macht aus einer Spalte mit n möglichen Werten n Spalten mit je einer 1 an der passenden Stelle und sonst Nullen1. Eine Rangfolge, die es in den Daten gar nicht gibt, entsteht dabei nicht. Wie sich aus solchen Rohspalten neue, aussagekräftigere Merkmale bauen lassen, gehört zum Feature Engineering.
Die richtige Reihenfolge
Mittelwerte, Spannweiten und Füllwerte werden nur aus den Trainingsdaten berechnet und dann unverändert auf Test- und neue Daten angewandt1. Rechnet man sie über alle Daten, fließt Wissen aus dem Prüfteil ins Training. Bei der Kreuzvalidierung muss das in jedem Durchgang neu geschehen, und scikit-learn empfiehlt dafür eine Pipeline, die Vorverarbeitung und Modell zusammen behandelt5.
Häufige Fragen
Was ist der Unterschied zwischen Normalisierung und Standardisierung?
Soll ich Zeilen mit fehlenden Werten einfach löschen?
Bei wenigen Lücken kann das reichen. Jede gelöschte Zeile nimmt aber auch die vorhandenen Werte mit, deshalb ist Auffüllen oft die bessere Wahl2.
Quellen
Stand:
- scikit-learn 1.9.1: Preprocessing data, abgerufen am 22.11.2026. zurück
- scikit-learn 1.9.1: Imputation of missing values, abgerufen am 22.11.2026. zurück
- Google for Developers: Machine Learning Crash Course: Numerical data, Normalization, abgerufen am 22.11.2026. zurück
- Anaconda: 2022 State of Data Science Report, Stand 2022, abgerufen am 22.11.2026. zurück
- scikit-learn 1.9.1: Cross-validation: evaluating estimator performance, abgerufen am 22.11.2026. zurück




