Kurz-Fakten
- Übliche Größen liegen bei einigen hundert Token je Abschnitt
- Überlappung zwischen Abschnitten verhindert abgeschnittene Zusammenhänge
- An Überschriften zu schneiden funktioniert besser als nach Zeichenzahl
- Tabellen, Listen und Formulare brauchen eigene Behandlung
Bedeutung in der Praxis
Chunking klingt nach einem technischen Detail und ist in der Praxis der häufigste Grund für enttäuschende Ergebnisse. Wenn ein System die richtige Stelle nicht findet, liegt es öfter an der Aufteilung als am Modell.