KI und Suche
KI-Crawler steuern
Kurzantwort
KI-Crawler sperrst du in der robots.txt im Hauptverzeichnis deiner Website, mit einem eigenen Abschnitt je Kennung, etwa "User-agent: GPTBot" und darunter "Disallow: /". Die großen Anbieter trennen inzwischen Crawler für das Training von solchen für die Suche12. Wer nur die Trainings-Crawler sperrt, kann in den Suchantworten von ChatGPT und Co. weiter erscheinen.

Die robots.txt ist eine einfache Textdatei, die Crawlern sagt, welche Bereiche einer Website sie abrufen dürfen. Für jeden KI-Crawler kannst du eigene Regeln schreiben, und die Anbieter von KI-Diensten geben ihren Bots feste Namen, auf die sich diese Regeln beziehen. Wichtig ist deshalb die Auswahl: OpenAI, Anthropic, Google und Perplexity betreiben für das Training, für ihre Suche und für Abrufe auf Wunsch eines Nutzers jeweils verschiedene Kennungen. Wer pauschal alles sperrt, verschwindet auch aus den KI-Suchantworten. Stand der Angaben unten ist der 22.11.2026.
Training, Suche und Nutzerabruf
Trainings-Crawler sammeln Texte, die in künftige Modelle einfließen können. Die gesammelten Inhalte werden Teil der Trainingsdaten; eine Quelle wird später in den Antworten nicht verlinkt. Bei OpenAI heißt dieser Crawler GPTBot, bei Anthropic ClaudeBot12. Google betreibt dafür keinen eigenen Crawler und nutzt stattdessen die Steuerkennung Google-Extended3.
Such-Crawler bauen einen Index auf, aus dem ein KI-Dienst bei einer Frage Seiten auswählt und als Quelle verlinkt. Dazu gehören OAI-SearchBot für die Suche in ChatGPT, Claude-SearchBot bei Anthropic und PerplexityBot124. Bei Google übernimmt Googlebot diese Rolle für die gesamte Suche einschließlich AI Overviews und KI-Modus37.
Nutzerabrufe entstehen, wenn jemand einen Chat-Assistenten bittet, eine bestimmte Seite zu öffnen, oder wenn der Assistent für eine Frage eine Seite nachschlägt. Dafür stehen ChatGPT-User, Claude-User und Perplexity-User124. Diese Abrufe gelten nicht als automatisches Crawlen, und die Anbieter behandeln die robots.txt dabei unterschiedlich.
Die wichtigsten Kennungen
Die Angaben in der Tabelle geben den Stand der Hilfeseiten vom 22.11.2026 wieder; keine dieser Seiten nennt ein eigenes Datum der letzten Änderung1234.
| Kennung | Anbieter | Zweck | robots.txt | Folge einer Sperre |
|---|---|---|---|---|
| GPTBot | OpenAI | Training | wird beachtet | Inhalte gelten als vom Training ausgenommen |
| OAI-SearchBot | OpenAI | Suche in ChatGPT | wird beachtet | Seite erscheint nicht in Suchantworten |
| ChatGPT-User | OpenAI | Abruf auf Wunsch eines Nutzers | gilt möglicherweise nicht | kein Einfluss auf die Suche |
| ClaudeBot | Anthropic | Training | wird beachtet, auch Crawl-delay | künftige Inhalte werden nicht fürs Training genutzt |
| Claude-SearchBot | Anthropic | Suchqualität | keine eigene Angabe | geringere Sichtbarkeit in Suchantworten möglich |
| Claude-User | Anthropic | Abruf für eine Nutzerfrage | keine eigene Angabe | geringere Sichtbarkeit bei Suchen im Auftrag von Nutzern möglich |
| Googlebot | Suche inklusive KI-Funktionen | wird beachtet | Seite verschwindet aus den Suchergebnissen | |
| Google-Extended | Training von Gemini und Grounding | nur Steuerkennung | kein Einfluss auf die Google-Suche | |
| PerplexityBot | Perplexity | Suche in Perplexity | Zulassen empfohlen | Seite wird nicht verlinkt |
| Perplexity-User | Perplexity | Abruf für eine Nutzerfrage | wird in der Regel ignoriert | Sperre wirkt kaum |
Die Angaben stammen von den Hilfeseiten der Anbieter1234. Bei Anthropic bezieht sich die Aussage, dass die robots.txt beachtet wird, allgemein auf die eigenen Bots; einzeln genannt wird nur ClaudeBot2. Perplexity schreibt nicht ausdrücklich, dass PerplexityBot die robots.txt beachtet, empfiehlt aber, ihn dort zuzulassen4.
- Training fließt in künftige Modelle
- Suche Quelle wird verlinkt
- Nutzerabruf auf Wunsch eines Nutzers
Schritt für Schritt: robots.txt anpassen
- Öffne die Datei robots.txt im obersten Verzeichnis deiner Website. Sie muss genau so heißen, in Kleinbuchstaben, und unter deine-domain.de/robots.txt erreichbar sein5. Manche Redaktionssysteme erzeugen sie selbst und bieten dafür ein Eingabefeld in den Einstellungen.
- Leg fest, welche Zwecke du erlauben willst. Naheliegend ist die Kombination "Training sperren, Suche erlauben", weil die Website dann in KI-Antworten verlinkt werden kann.
- Schreib für jede Kennung einen eigenen Abschnitt. Er beginnt mit der Zeile "User-agent:" und dem Namen, darunter folgen eine oder mehrere Zeilen mit "Disallow:" oder "Allow:" und dem Pfad.
- Die Reihenfolge der Regeln spielt keine Rolle, die Pfade schon. Nach dem Standard RFC 9309 gilt bei mehreren passenden Regeln die genaueste, gemessen an der Länge des Pfads; passt gar keine Regel, ist der Abruf erlaubt5.
- Leg die Datei für jede Subdomain gesondert an, also auch für shop.deine-domain.de. Anthropic weist ausdrücklich darauf hin2.
- Speichere die Datei, ruf sie im Browser auf und prüf, ob die neuen Zeilen erscheinen.
- Gib den Anbietern Zeit. OpenAI rechnet für die Suche mit rund 24 Stunden, bis eine Änderung wirkt; Perplexity nennt bis zu 24 Stunden14. Der Standard sieht vor, dass Crawler eine zwischengespeicherte robots.txt in der Regel nicht länger als 24 Stunden verwenden5.
Ein Beispiel für die Variante "Training sperren, Suche erlauben" besteht aus diesen Zeilen, jeweils durch eine Leerzeile getrennt:
- User-agent: GPTBot, darunter Disallow: /
- User-agent: ClaudeBot, darunter Disallow: /
- User-agent: Google-Extended, darunter Disallow: /
OAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot tauchen darin nicht auf. Für sie gilt dann der allgemeine Abschnitt mit "User-agent: *", sofern es einen gibt, und ohne passende Sperre dürfen sie alles abrufen5. Willst du einem Crawler nur einen Bereich verbieten, ersetzt du den Schrägstrich durch den Pfad, etwa "Disallow: /intern/".
Anthropic unterstützt zusätzlich die Angabe "Crawl-delay", die keinen offiziellen Standard darstellt, mit der du aber Pausen zwischen den Abrufen verlangen kannst2. Das hilft, wenn ein Crawler einen kleinen Server zu stark belastet und du ihn trotzdem nicht ganz aussperren willst.

Folgen des Sperrens
Eine Sperre der Trainings-Crawler wirkt nur nach vorn. Anthropic schreibt, dass eine Sperre von ClaudeBot signalisiert, künftige Inhalte der Website aus den Trainingsdaten herauszuhalten2. Was ein Modell bereits gelernt hat, bleibt darin. Bei OpenAI gilt eine Sperre von GPTBot als Zeichen, dass die Inhalte nicht für das Training genutzt werden sollen1.
Bei den Such-Crawlern sind die Folgen spürbarer. Seiten, die OAI-SearchBot aussperren, erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche1. Eine Sperre von Claude-SearchBot kann laut Anthropic Sichtbarkeit und Genauigkeit in Suchantworten verringern2. Wer PerplexityBot aussperrt, wird dort nicht verlinkt. Die Sperren sind voneinander unabhängig: Wer GPTBot blockiert, ist in der ChatGPT-Suche weiter sichtbar, solange OAI-SearchBot erlaubt ist1.
Bei Google gibt es keine getrennte Kennung für die KI-Funktionen. Eine Sperre von Googlebot nimmt die Seite aus der gesamten Google-Suche, eine eigene Sperre nur für AI Overviews und den KI-Modus gibt es nicht7. Google-Extended betrifft das Training künftiger Gemini-Modelle und das Grounding, also die Nutzung von Suchinhalten zur Laufzeit in den Gemini-Apps und bei Vertex AI; auf die Aufnahme in die Google-Suche und das Ranking wirkt sich die Kennung laut Google nicht aus3. Wer steuern will, wie viel Text Google aus einer Seite in Suchergebnissen und KI-Antworten zeigt, nutzt nosnippet, data-nosnippet oder max-snippet7.
Für die Zukunft zeichnen sich zusätzliche Signale ab. Google kündigt an, Anfang 2027 ein maschinenlesbares Signal für Trainingswünsche mit der Kennung "__usage_ai-training" zu unterstützen3. Anthropic berücksichtigt seit dem 30.10.2026 bereits ein solches Signal, wobei Regeln, die ClaudeBot namentlich nennen, Vorrang haben2. Wie die Entscheidung für oder gegen das Training rechtlich einzuordnen ist, behandelt Urheberrecht und KI.

Grenzen der robots.txt
Die robots.txt ist eine Bitte an die Crawler. Der Standard sagt ausdrücklich, dass ihre Regeln keine Zugriffsberechtigung darstellen und Sicherheitsmaßnahmen nicht ersetzen5. Google schreibt, seriöse Crawler hielten sich daran, andere womöglich nicht6. Eine gesperrte Adresse kann bei Google außerdem trotzdem in den Ergebnissen erscheinen, dann ohne Beschreibung; wer eine Seite ganz heraushalten will, braucht noindex oder einen Passwortschutz6.
Bei Abrufen im Auftrag eines Nutzers greift die Datei oft gar nicht. OpenAI schreibt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten, Perplexity, dass Perplexity-User sie in der Regel ignoriert14. Vertrauliche Inhalte gehören deshalb hinter eine Anmeldung.
Hinzu kommt, dass sich jeder Crawler einen fremden Namen geben kann. OpenAI veröffentlicht für jeden seiner Crawler eine Liste der IP-Adressen, mit der du echte Zugriffe erkennst1. Sperren nach IP-Adresse hält Anthropic dagegen für unzuverlässig, weil sie nicht dauerhaft wirken müssen2. Ob die Crawler deine Seiten überhaupt besuchen, zeigt das Serverprotokoll; wie du daraus Rückschlüsse auf die Sichtbarkeit ziehst, steht unter KI-Sichtbarkeit messen.
Prüfen, ob die Sperre wirkt
Ein paar Tage nach der Änderung lohnt der Blick ins Serverprotokoll. Die Crawler geben sich im User Agent mit ihrem Namen und einem Verweis auf die Dokumentation zu erkennen, GPTBot zum Beispiel mit "GPTBot" und der Adresse openai.com/gptbot1. Taucht ein gesperrter Crawler weiter auf, ruft er vielleicht nur die robots.txt selbst ab, was erlaubt und nötig ist; OpenAI kennzeichnet solche Abrufe bei OAI-SearchBot sogar eigens im User Agent1. Greift er auf gesperrte Seiten zu, vergleichst du die IP-Adresse mit der veröffentlichten Liste des Anbieters. Stimmt sie nicht überein, gibt sich ein anderer Bot nur als GPTBot aus.
Für Google zeigt das URL-Prüftool in der Search Console, ob Googlebot eine Seite abrufen darf und welche Steuerangaben er sieht. Google rät, eine geänderte Angabe zur Snippet-Steuerung dort zu prüfen und Zeit für das erneute Crawlen einzuplanen, was einige Tage bis mehrere Monate dauern kann7.
Du kannst Bereiche einzeln steuern. Ein Verlag kann etwa nur den Bereich mit kostenpflichtigen Artikeln für Trainings-Crawler sperren und frei zugängliche Ratgeber offen lassen. Dafür steht im Abschnitt des jeweiligen Crawlers statt des Schrägstrichs der Pfad des Bereichs. Weil nach dem Standard die genaueste Regel gilt, lässt sich mit einer zusätzlichen Zeile "Allow:" auch ein einzelner Unterordner wieder freigeben5.
Voraussetzungen
- Zugang zum Hauptverzeichnis der Website per FTP oder Dateimanager, oder ein Redaktionssystem, das die robots.txt über die Einstellungen bearbeiten lässt.
- Vorsicht mit der Kombination "User-agent: *" und "Disallow: /". Sie sperrt alle Crawler, die sich an die Datei halten, auch Googlebot.
- Eine Firewall oder ein Schutzdienst gegen Bots, die Crawler zusätzlich blockieren, setzen die Erlaubnis in der robots.txt außer Kraft. Wer OAI-SearchBot erlaubt, muss auch dessen IP-Adressen durchlassen.
Die llms.txt ersetzt die robots.txt nicht, denn sie beschreibt Inhalte für Sprachmodelle und erlaubt oder verbietet nichts. OAI-SearchBot spielt eine Rolle in der Suche von ChatGPT.
Deine nächsten Schritte
Entscheide getrennt über Training und Suche, dann reichen wenige Zeilen in der robots.txt.
- Ruf deine-domain.de/robots.txt auf und prüf, welche Crawler heute gesperrt sind.
- Sperr die Trainings-Crawler GPTBot, ClaudeBot und Google-Extended, wenn du kein Training willst, und lass die Such-Crawler offen.
- Frag deinen Hoster, ob Firewall oder Bot-Schutz KI-Crawler zusätzlich blockieren.
- Schütze vertrauliche Bereiche mit einer Anmeldung, die robots.txt allein reicht dafür nicht.
Häufige Fragen
Wie sperre ich GPTBot in der robots.txt?
Schreib einen Abschnitt mit der Zeile "User-agent: GPTBot" und darunter "Disallow: /". Damit sind deine Inhalte vom Training bei OpenAI ausgenommen, die Suche in ChatGPT bleibt davon unberührt.
Wie sperre ich ClaudeBot?
Genauso, mit "User-agent: ClaudeBot" und "Disallow: /". Willst du auch aus der Suche von Claude heraus, sperrst du zusätzlich Claude-SearchBot.
Verschwinde ich aus Google, wenn ich Google-Extended sperre?
Nein. Google-Extended steuert nur das Training von Gemini und das Grounding in anderen Google-Diensten. Die Google-Suche mit AI Overviews hängt an Googlebot.
Werden bereits gesammelte Inhalte gelöscht, wenn ich einen Crawler sperre?
Davon schreiben die Anbieter nichts. Anthropic spricht ausdrücklich von künftigen Inhalten, die aus dem Training herausgehalten werden.
Quellen
Stand:
- OpenAI: Overview of OpenAI Crawlers, abgerufen am 22.11.2026. zurück
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center), abgerufen am 22.11.2026. zurück
- Google: Common crawlers (Google Search Central), abgerufen am 22.11.2026. zurück
- Perplexity: Crawlers (Perplexity Docs), abgerufen am 22.11.2026. zurück
- IETF (Koster, Illyes, Zeller, Sassman): RFC 9309: Robots Exclusion Protocol, Stand 09/2022, abgerufen am 22.11.2026. zurück
- Google: Introduction to robots.txt (Google Search Central), abgerufen am 22.11.2026. zurück
- Google: AI features and your website (Google Search Central), abgerufen am 22.11.2026. zurück





