Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · T

Transfer­lernen

Kurzantwort

Transferlernen, englisch Transfer Learning, nimmt Merkmale, die ein Modell bei einer Aufgabe gelernt hat, und nutzt sie für eine neue, ähnliche Aufgabe⁠1. Das lohnt sich vor allem dann, wenn für die neue Aufgabe zu wenige Daten vorliegen, um ein Modell von Grund auf zu trainieren⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Matter weißer Fahrradhelm auf einem glänzenden dunkelblauen Motorradhelm, beide auf einem Betonregal, weiches Tageslicht
Was beim Radfahren gelernt ist, hilft auch auf dem Motorrad. Bild: KI-generiert

9.305 Fotos von Katzen und Hunden sind für ein Bildmodell wenig. Trotzdem kommt der Klassifikator im Leitfaden der Bibliothek Keras damit in der Validierung auf eine Trefferquote von 97 Prozent⁠1. Er baut dazu auf Vorwissen auf: Er übernimmt ein neuronales Netz namens Xception, das vorher am großen Bildbestand ImageNet trainiert wurde, und lernt nur eine neue Ausgabeschicht dazu⁠1.

Warum Vorwissen übertragbar ist

Ein Team um Jason Yosinski untersuchte 2014, welche Teile eines Bildnetzes sich auf andere Aufgaben übertragen lassen. Die ersten Schichten lernen allgemeine Merkmale wie Kantenfilter und Farbflecken, die bei fast jeder Bildaufgabe nützen. Je tiefer die Schicht, desto stärker ist sie auf die ursprüngliche Aufgabe zugeschnitten. Ein Netz, das mit übertragenen Merkmalen startet, verallgemeinerte in ihren Versuchen besser, und der Vorteil blieb auch nach dem Weitertrainieren erhalten⁠2.

Das erklärt, warum ein Netz, das Hunderte Alltagsgegenstände unterscheiden kann, eine gute Grundlage für ein Modell ist, das Kratzer auf Bauteilen oder Unkraut zwischen Möhren finden soll. Kanten, Texturen und Formen braucht es auch dort.

Der übliche Ablauf

Der Keras-Leitfaden beschreibt die Schritte so⁠1:

  1. Schichten aus einem vortrainierten Modell übernehmen.
  2. Diese Schichten einfrieren, damit ihr Wissen beim Training nicht verloren geht.
  3. Neue, trainierbare Schichten obendrauf setzen, die die übernommenen Merkmale in Antworten für die neue Aufgabe übersetzen.
  4. Nur die neuen Schichten mit dem eigenen Datensatz trainieren.
  5. Auf Wunsch einen Teil oder das ganze übernommene Modell wieder freigeben und mit sehr niedriger Lernrate weitertrainieren.

Der fünfte Schritt ist Fine-Tuning. Keras rät dazu ausdrücklich erst, wenn die neuen Schichten fertig trainiert sind, und mit kleiner Lernrate, weil nun ein großes Modell auf meist wenigen Daten weiterlernt⁠1.

Über Bilder hinaus

Dasselbe Prinzip trägt die heutigen Sprachmodelle. Ein Foundation Model lernt an riesigen Textmengen allgemeine Sprachkenntnis und wird danach für Übersetzung, Zusammenfassung oder Kundendialog angepasst. Auch Sprach- und Tonmodelle lassen sich auf neue Sprachen, Stimmen oder Geräuscharten übertragen.

Für den Einstieg muss niemand selbst ein großes Netz vortrainieren. Bibliotheken wie Keras liefern fertige Modelle samt Gewichten mit; im Leitfaden wird Xception mit seinen ImageNet-Gewichten geladen und die ursprüngliche Ausgabeschicht weggelassen⁠1. Ein Handwerksbetrieb, der Fotos von Schäden an Dächern nach Art des Schadens sortieren möchte, würde genauso vorgehen: vortrainiertes Netz laden, eigene Ausgabeschicht für die Schadensarten anhängen, mit einigen hundert eigenen Fotos trainieren und an zurückgehaltenen Fotos prüfen.

Was mit übertragen wird

Das Ausgangsmodell bringt alles mit, was es gelernt hat, auch seine Lücken und Schieflagen. Hat es kaum Bilder von Menschen mit dunkler Haut gesehen, erbt das neue Modell diese Schwäche, und es entsteht Bias, der erst auffällt, wenn jemand gezielt danach sucht. Zudem nimmt der Nutzen ab, je weiter Ausgangs- und Zielaufgabe auseinanderliegen; Röntgenbilder sehen anders aus als Urlaubsfotos⁠2.

Häufige Fragen

Was ist der Unterschied zwischen Transferlernen und Fine-Tuning?

Transferlernen ist der Oberbegriff für das Weiterverwenden gelernten Wissens. Fine-Tuning ist ein Weg dahin, bei dem das übernommene Modell selbst weitertrainiert wird; man kann seine Schichten aber auch eingefroren lassen und nur neue Schichten darauf trainieren.

Funktioniert Transferlernen auch zwischen sehr verschiedenen Aufgaben?

Schlechter, aber immer noch besser als ganz ohne Vorwissen. In den Versuchen von 2014 schnitten übertragene Merkmale selbst bei weit entfernten Aufgaben besser ab als zufällig gesetzte Startwerte⁠2.

Quellen

Stand:

  1. Keras (François Chollet): Transfer learning and fine-tuning, Stand 25.06.2023, abgerufen am 22.11.2026. zurück
  2. arXiv (Yosinski u. a.): How transferable are features in deep neural networks?, Stand 06.11.2014, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert. Grafiken: KI-Blog