Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · F

Feature Engineering

Kurzantwort

Pedro Domingos nannte 2012 die verwendeten Merkmale den mit Abstand wichtigsten Faktor dafür, ob ein Projekt mit maschinellem Lernen gelingt⁠1. Feature Engineering ist die Arbeit, aus Rohdaten solche Merkmale zu bauen, etwa aus einem Zeitstempel die Stunde und den Wochentag oder aus zwei Spalten ihr Verhältnis.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Messschieber aus Stahl an einem gedrehten Werkstück aus Messing, daneben ein leerer Notizblock aus Packpapier und ein Bleistift
Aus einem Rohling werden Maße: Feature Engineering macht aus Rohdaten messbare Merkmale. Bild: KI-generiert

Ein Merkmal, englisch Feature, ist eine Spalte, die ein Modell zu sehen bekommt. Rohdaten liegen oft in einer Form vor, aus der sich schwer lernen lässt; aus ihnen lassen sich aber Merkmale konstruieren, die das Lernen erleichtern⁠1. Domingos, 2012 Professor für Informatik an der University of Washington, schrieb in den Communications of the ACM, dass hier meist der größte Teil der Arbeit in einem Projekt steckt, und dass Intuition und Kreativität dabei so viel zählen wie Technik⁠1. Es ist Handarbeit mit Fachwissen, denn welche Kombination aussagekräftig ist, hängt vom Gebiet ab⁠1.

Ein Zeitstempel und vier Rechenwege

Wie viel ein gutes Merkmal ausmacht, zeigt ein Rechenbeispiel, das scikit-learn in seinem Handbuch mitliefert. Es sagt die stündliche Nachfrage eines Fahrradverleihs vorher, 17.379 Stunden mit Wetter, Uhrzeit, Wochentag und Monat⁠3. Die Nachfrage folgt Tages-, Wochen- und Jahresrhythmen⁠3. Ein lineares Modell, das Stunde und Wochentag als bloße Zahlen bekommt, liegt im Mittel um 0,142 daneben, gemessen als Anteil der höchsten Nachfrage⁠3. Werden die Zeitangaben als Kategorien kodiert, sinkt der Fehler auf 0,099. Mit periodischen Kurvenstücken für die Zeit und ihren Wechselwirkungen kommt dasselbe lineare Modell auf 0,078⁠3.

Das lineare Modell blieb dasselbe, es bekam nur andere Eingaben. Als Zahl liegt 23 Uhr weit entfernt von 0 Uhr, obwohl die beiden Stunden nebeneinander liegen. Sinus und Kosinus der Uhrzeit beseitigen diesen Sprung zwischen Ende und Anfang des Zyklus⁠3. Ein Entscheidungsbaum-Verfahren mit Gradient Boosting kam übrigens schon mit den rohen Zeitwerten auf 0,044, weil Bäume auch nicht gleichförmige Zusammenhänge selbst erfassen⁠3.

Merkmale kreuzen

Oft steckt die Information in der Kombination zweier Spalten. Google beschreibt Feature Crosses: Zwei kategorische Merkmale werden zu allen möglichen Paaren verbunden, so dass auch ein lineares Modell Wechselwirkungen abbilden kann⁠2. Welche Kreuzungen sinnvoll sind, verrät am ehesten das Fachwissen. Der Haken ist die Größe. Kreuzt man ein Merkmal mit 100 Werten mit einem mit 200, entstehen 20.000 Spalten, die fast alle leer sind⁠2. Für Kategorien im Allgemeinen gibt es in scikit-learn den `OneHotEncoder`, der aus jedem möglichen Wert eine eigene Spalte macht⁠4. Dieser Schritt zählt schon zur Datenvorverarbeitung, auf der das Kreuzen aufbaut.

Auswählen gehört dazu

Mehr Merkmale sind nicht automatisch besser. Domingos warnt, dass zu viele Kandidaten das Training verlangsamen und Overfitting begünstigen. Gleichzeitig können Merkmale, die einzeln nutzlos wirken, in Kombination viel aussagen; sein Beispiel ist die XOR-Verknüpfung⁠1. Ein rechnerischer Weg zur Auswahl ist die L1-Regularisierung, die Gewichte unwichtiger Eingänge auf null setzt⁠5.

Neuronale Netze im Deep Learning können manche Kombinationen selbst lernen, allerdings mit hohem Rechenaufwand⁠2. Den Bau von Merkmalen weiter zu automatisieren, bezeichnete Domingos als einen der heiligen Grale des Fachs⁠1. Systeme für AutoML übernehmen inzwischen einen Teil dieser Arbeit.

Häufige Fragen

Ist Feature Engineering dasselbe wie Datenvorverarbeitung?

Die Grenze ist fließend. Vorverarbeitung macht vorhandene Daten verwendbar, etwa durch Füllen von Lücken und Skalieren; Feature Engineering erzeugt daraus neue Spalten mit mehr Aussagekraft.

Braucht man Feature Engineering bei neuronalen Netzen noch?

Netze lernen manche Kombinationen selbst, das kostet aber viel Rechenzeit⁠2. Wie stark allein die Kodierung der Eingaben ein einfaches Modell verbessern kann, zeigt das Beispiel des Fahrradverleihs⁠3.

Quellen

Stand:

  1. Communications of the ACM (Pedro Domingos): A Few Useful Things to Know about Machine Learning, Stand 10/2012, abgerufen am 22.11.2026. zurück
  2. Google for Developers: Machine Learning Crash Course: Categorical data, Feature crosses, abgerufen am 22.11.2026. zurück
  3. scikit-learn 1.9.1: Time-related feature engineering, abgerufen am 22.11.2026. zurück
  4. scikit-learn 1.9.1: Preprocessing data, abgerufen am 22.11.2026. zurück
  5. Goodfellow, Bengio, Courville: Deep Learning, Kapitel 7: Regularization for Deep Learning, Stand 2016, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog