Was ist Transformer?

Kurz-Fakten

• Das GPT in ChatGPT steht für Generative Pre-trained Transformer
• Der Aufmerksamkeitsmechanismus löste ältere, sequenziell arbeitende Verfahren ab
• Weil die Verarbeitung parallel läuft, wird Training auf Grafikkarten effizient
• Der Rechenaufwand wächst überproportional mit der Kontextlänge

Bedeutung in der Praxis

Der letzte Punkt erklärt, warum sehr lange Kontexte teuer sind und warum Anbieter an Verfahren arbeiten, die diesen Zusammenhang abschwächen. Für die Praxis genügt zu wissen: Die doppelte Textmenge kostet mehr als das Doppelte.

Verwandte Begriffe

• LLM Ein LLM ist ein mit sehr großen Textmengen trainiertes Modell, das den jeweils…
• Kontextfenster Das Kontextfenster ist die Textmenge, die ein Modell bei einer Anfrage gleichzeitig…
• Parameter Parameter sind die einstellbaren Zahlenwerte eines Modells, die beim Training angepasst…