Kurz-Fakten
- Bekannte Kennungen sind unter anderem GPTBot, ClaudeBot, PerplexityBot und Google-Extended
- Trainings-Bots und Antwort-Bots eines Anbieters haben oft verschiedene Namen
- Die robots.txt ist eine Bitte, keine technische Sperre
- Eine vollständige Sperre kostet Sichtbarkeit in genau den Systemen, die zunehmend genutzt werden
Bedeutung in der Praxis
Die Entscheidung ist eine Abwägung und keine technische Frage: Wer verhindern will, dass eigene Inhalte in Trainingsdaten landen, sperrt die Trainings-Crawler. Wer in KI-Antworten vorkommen will, lässt die Antwort-Crawler zu. Beides gleichzeitig zu wollen, geht nicht.