Lexikon · C
Chain of Thought

Vier englische Wörter genügten 2022 für einen der bekanntesten Befunde der Prompt-Forschung. Eine Gruppe um Takeshi Kojima hängte an Rechenaufgaben den Satz "Let's think step by step" an. Bei einem Modell von OpenAI stieg die Trefferquote im Test MultiArith dadurch von 17,7 auf 78,7 Prozent, im schwierigeren GSM8K von 10,4 auf 40,7 Prozent3. Das Modell bekam weder Beispiele noch zusätzliches Training, nur die Aufforderung, Schritt für Schritt vorzugehen.
Mit Beispielen oder mit einem Satz
Im Kern ist die Technik eine Aufforderung an das Modell, seine Überlegungen Schritt für Schritt zu erklären5. Bekannt gemacht hatte den Begriff wenige Monate vor Kojima eine Arbeit um Jason Wei. Sie gaben einem Modell mit 540 Milliarden Parametern acht Beispielaufgaben in den Prompt, jeweils mit ausgeschriebenem Lösungsweg. Damit erreichte es bei den Textaufgaben aus GSM8K den damals besten veröffentlichten Wert, besser als ein eigens feinabgestimmtes GPT-3 mit zusätzlichem Prüfmodell2. Diese Form gehört zum Few-Shot-Learning, weil das Modell an Beispielen sieht, wie eine gute Antwort aussieht.
Die Variante von Kojima kommt ohne Beispiele aus und zählt damit zum Zero-Shot-Learning3. Für den Alltag empfehlen wir, mit dieser einfachen Form zu beginnen. Ein deutscher Prompt könnte etwa so lauten:
- "Geh die Aufgabe Schritt für Schritt durch und nenne das Ergebnis erst am Ende."
- "Schreib zuerst auf, welche Angaben gegeben sind, dann rechne, dann prüfe das Ergebnis."
Wer die Antwort weiterverarbeiten will, kann zusätzlich verlangen, dass das Ergebnis in einer eigenen letzten Zeile steht, ein typischer Baustein beim Prompt Engineering.
Wann die Technik hilft und wann sie täuscht
Am deutlichsten wirkt die Gedankenkette bei Aufgaben mit mehreren Schritten: Textaufgaben, Logikrätsel, Planungen mit Bedingungen23. Bei einer einfachen Faktenfrage gibt es keine Zwischenschritte, die man aufschreiben könnte. Eine naheliegende Erklärung, die keine der Quellen belegt: Ein Sprachmodell schreibt Token für Token, und jeder notierte Zwischenschritt steht danach im Text, auf den sich der nächste Schritt stützen kann.
Ob das Modell wirklich so vorgegangen ist, wie es schreibt, steht auf einem anderen Blatt. Ein Team um Miles Turpin hat 2023 gezeigt, dass die aufgeschriebenen Begründungen oft verschweigen, was die Antwort tatsächlich beeinflusst hat. Sie ordneten in Beispielaufgaben die richtige Lösung immer an dieselbe Stelle. Die Modelle folgten diesem Muster, erwähnten es in ihren Begründungen aber nicht und lieferten stattdessen plausible Rechtfertigungen für falsche Antworten4. Die Genauigkeit sank dabei um bis zu 36 Prozent, getestet mit GPT-3.5 und Claude 1.0 an 13 Aufgabenarten4. In einer Aufgabe zu sozialen Vorurteilen begründeten die Modelle Antworten, die einem Klischee folgten, ohne diesen Einfluss zu erwähnen4.
Für Ergebnisse, auf die es ankommt, lohnt der Blick auf jeden einzelnen Schritt. Längere Antworten kosten außerdem mehr Token und damit bei Programmierschnittstellen mehr Geld.
Neuere Reasoning-Modelle erzeugen solche Gedankenketten von sich aus in einer eigenen Denkphase, auf die sie per bestärkendem Lernen trainiert wurden1.
Häufige Fragen
Funktioniert Chain of Thought auch auf Deutsch?
Ja, die Aufforderung lässt sich in jeder Sprache formulieren, die das Modell beherrscht. Die bekannten Messwerte stammen allerdings aus englischsprachigen Tests.
Wird die Antwort durch Chain of Thought immer besser?
Bei kleinen Modellen und bei einfachen Fragen bringt die Technik wenig. Die großen Zuwächse in den Studien zeigten sich bei großen Modellen und mehrstufigen Aufgaben.
Was ist der Unterschied zu einem Prompt mit Beispielen?
Beispiele zeigen dem Modell, welche Art Antwort erwartet wird. Chain of Thought verlangt den Lösungsweg; kombiniert man beides, enthalten die Beispiele selbst ausgeschriebene Rechenwege.
Quellen
Stand:
- OpenAI: Learning to reason with LLMs, Stand 12.09.2024, abgerufen am 22.11.2026. zurück
- arXiv (Wei u. a.): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Stand 28.01.2022, abgerufen am 22.11.2026. zurück
- arXiv (Kojima u. a.): Large Language Models are Zero-Shot Reasoners, Stand 24.05.2022, abgerufen am 22.11.2026. zurück
- arXiv (Turpin u. a.): Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting, Stand 07.05.2023, abgerufen am 22.11.2026. zurück
- Google for Developers: Machine Learning Glossary, abgerufen am 22.11.2026. zurück




