Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

Lexikon · F

Few-Shot Learning

Kurzantwort

Beim Few-Shot Learning soll ein Modell eine Aufgabe anhand weniger Beispiele lösen. Bei Sprachmodellen schreibt man dazu einige gelöste Fälle in den Prompt, das sogenannte Few-Shot Prompting; das Modell übernimmt das Muster, ohne dass seine Gewichte verändert werden⁠1.

Autor
Veröffentlicht
Geprüft
Lesezeit
3 Minuten
Drei handbemalte Keramikfliesen mit gleichem blau-weißem Muster in einer Reihe, daneben eine leere, glatt verputzte Fläche für eine vierte Fliese
Drei Muster genügen, um zu ahnen, wie die vierte Fliese aussehen soll. Bild: KI-generiert

Der Begriff hat zwei Bedeutungen. In der Forschung zum maschinellen Lernen bezeichnet er Modelle, die neue Klassen anhand von zwei, drei oder fünf Beispielen erkennen sollen. Im Umgang mit Chatbots ist etwas Einfacheres gemeint: Man schreibt ein paar gelöste Beispiele in die Anfrage, und das Sprachmodell setzt das Muster fort.

Beispiele im Prompt

Die Arbeit zu GPT-3 von 2020 trug den Begriff schon im Titel, "Language Models are Few-Shot Learners", und stellte ein Modell mit 175 Milliarden Parametern vor, das Aufgaben und Beispiele allein als Text bekam, ganz ohne zusätzliches Training⁠1. Die Beispiele wirken nur innerhalb der laufenden Anfrage, sie belegen Platz im Kontextfenster und werden bei jeder Anfrage über eine Schnittstelle mit abgerechnet.

So kann ein Few-Shot-Prompt für eine Sentimentanalyse von Kundenbewertungen aussehen:

  • Bewertung: "Lieferung kam zwei Tage zu spät." Stimmung: negativ
  • Bewertung: "Passt genau, gern wieder." Stimmung: positiv
  • Bewertung: "Verpackung beschädigt, Inhalt aber in Ordnung." Stimmung: gemischt
  • Bewertung: "Der Akku hält kaum einen Tag." Stimmung:

Das Modell ergänzt die letzte Zeile im selben Format. Ohne die drei Beispiele würde es vielleicht einen ganzen Satz schreiben oder "neutral" statt "gemischt" verwenden.

Dass Beispiele das Ausgabeformat festlegen können⁠2, zählt vor allem dort, wo ein Programm die Antwort weiterverarbeitet und das Format deshalb exakt stimmen muss, etwa eine Zeile pro Produkt mit Name, Preis und Kategorie, getrennt durch Semikolons. Eine Beschreibung des Formats lässt Spielraum für Abweichungen, zwei oder drei vorgemachte Zeilen lassen kaum welchen.

Was gute Beispiele ausmacht

Anthropic beschreibt Beispiele in seiner Anleitung zum Prompting als einen der verlässlichsten Wege, Format, Tonfall und Aufbau einer Antwort zu steuern; ein paar gut gewählte Beispiele verbessern Genauigkeit und Gleichmäßigkeit⁠2. Laut Anthropic sollen die Beispiele dem echten Einsatz nahekommen, sich genug unterscheiden und auch Grenzfälle abdecken, damit das Modell keine ungewollten Muster übernimmt. Außerdem sollen sie klar von der Anweisung getrennt sein, etwa in eigenen Markierungen⁠2.

Sind alle Beispiele kurz und eindeutig, kann das Modell auch lange, schwierige Fälle in dieses Schema pressen. In die Auswahl gehört deshalb mindestens ein gemischter oder unklarer Fall, so wie die beschädigte Verpackung oben.

Few-Shot Learning in der Forschung

Die ältere Bedeutung betrifft das Training selbst. Jake Snell, Kevin Swersky und Richard Zemel beschrieben 2017 das Problem so: Ein Klassifikator soll Klassen erkennen, die im Trainingsdatensatz gar nicht vorkamen, und bekommt von jeder neuen Klasse nur wenige Beispiele⁠3. Ihre Prototypical Networks lernen dafür einen Raum, in dem für jede Klasse ein Prototyp liegt; ein neues Bild wird der Klasse zugeordnet, deren Prototyp am nächsten ist⁠3. Die Idee erinnert an Embeddings, die Texte oder Bilder als Punkte in einem Zahlenraum darstellen.

Steht im Prompt gar kein Beispiel, spricht man von Zero-Shot.

Häufige Fragen

Wie viele Beispiele gehören in einen Few-Shot-Prompt?

Anthropic empfiehlt drei bis fünf⁠2. Mehr Beispiele kosten bei jeder Anfrage zusätzliche Token und nehmen Platz im Kontext weg, ohne zwangsläufig bessere Antworten zu bringen.

Lernt das Modell aus meinen Beispielen dauerhaft?

Das Modell selbst bleibt unverändert, die Beispiele wirken nur in der laufenden Anfrage. Wer ein Verhalten dauerhaft ändern will, braucht ein Training wie Fine-Tuning oder eine feste Anweisung im System Prompt.

Quellen

Stand:

  1. arXiv (Brown u. a.): Language Models are Few-Shot Learners, Stand 28.05.2020, abgerufen am 22.11.2026. zurück
  2. Anthropic: Prompting best practices (Claude Docs), abgerufen am 22.11.2026. zurück
  3. arXiv (Snell, Swersky, Zemel): Prototypical Networks for Few-shot Learning, Stand 15.03.2017, abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert