Kurz-Fakten
- Übliche Größen reichen von einigen zehntausend bis über eine Million Token
- Ein voller Kontext kostet bei jeder Anfrage erneut, weil er jedes Mal mitgeschickt wird
- Modelle nutzen die Mitte langer Kontexte nachweislich schlechter als Anfang und Ende
- Ein großes Kontextfenster ersetzt keine gezielte Dokumentensuche
Bedeutung in der Praxis
Der letzte Punkt wird regelmäßig falsch verstanden. Ein Modell mit riesigem Kontextfenster verleitet dazu, einfach alle Dokumente mitzuschicken. Das ist teuer und liefert schlechtere Antworten als eine Anbindung, die vorher die richtigen drei Absätze heraussucht.