Zum Inhalt
KI-BlogBriefing zu künstlicher Intelligenz

KI und Suche

KI-Crawler steuern

Kurzantwort

KI-Crawler sperrst du in der robots.txt im Hauptverzeichnis deiner Website, mit einem eigenen Abschnitt je Kennung, etwa "User-agent: GPTBot" und darunter "Disallow: /". Die großen Anbieter trennen inzwischen Crawler für das Training von solchen für die Suche⁠12. Wer nur die Trainings-Crawler sperrt, kann in den Suchantworten von ChatGPT und Co. weiter erscheinen.

Autor
Veröffentlicht
Geprüft
Lesezeit
8 Minuten
Ein Schlüsselbrett aus Holz mit Messinghaken im Flur einer Altbauwohnung, an einigen Haken hängen Schlüssel, andere sind leer
Für jeden Crawler gibt es einen eigenen Schlüssel. Bild: KI-generiert

Die robots.txt ist eine einfache Textdatei, die Crawlern sagt, welche Bereiche einer Website sie abrufen dürfen. Für jeden KI-Crawler kannst du eigene Regeln schreiben, und die Anbieter von KI-Diensten geben ihren Bots feste Namen, auf die sich diese Regeln beziehen. Wichtig ist deshalb die Auswahl: OpenAI, Anthropic, Google und Perplexity betreiben für das Training, für ihre Suche und für Abrufe auf Wunsch eines Nutzers jeweils verschiedene Kennungen. Wer pauschal alles sperrt, verschwindet auch aus den KI-Suchantworten. Stand der Angaben unten ist der 22.11.2026.

Training, Suche und Nutzerabruf

Trainings-Crawler sammeln Texte, die in künftige Modelle einfließen können. Die gesammelten Inhalte werden Teil der Trainingsdaten; eine Quelle wird später in den Antworten nicht verlinkt. Bei OpenAI heißt dieser Crawler GPTBot, bei Anthropic ClaudeBot⁠12. Google betreibt dafür keinen eigenen Crawler und nutzt stattdessen die Steuerkennung Google-Extended⁠3.

Such-Crawler bauen einen Index auf, aus dem ein KI-Dienst bei einer Frage Seiten auswählt und als Quelle verlinkt. Dazu gehören OAI-SearchBot für die Suche in ChatGPT, Claude-SearchBot bei Anthropic und PerplexityBot⁠124. Bei Google übernimmt Googlebot diese Rolle für die gesamte Suche einschließlich AI Overviews und KI-Modus⁠37.

Nutzerabrufe entstehen, wenn jemand einen Chat-Assistenten bittet, eine bestimmte Seite zu öffnen, oder wenn der Assistent für eine Frage eine Seite nachschlägt. Dafür stehen ChatGPT-User, Claude-User und Perplexity-User⁠124. Diese Abrufe gelten nicht als automatisches Crawlen, und die Anbieter behandeln die robots.txt dabei unterschiedlich.

Die wichtigsten Kennungen

Die Angaben in der Tabelle geben den Stand der Hilfeseiten vom 22.11.2026 wieder; keine dieser Seiten nennt ein eigenes Datum der letzten Änderung⁠1234.

KI-Crawler der großen Anbieter nach Zweck (Stand 22.11.2026)
KennungAnbieterZweckrobots.txtFolge einer Sperre
GPTBotOpenAITrainingwird beachtetInhalte gelten als vom Training ausgenommen
OAI-SearchBotOpenAISuche in ChatGPTwird beachtetSeite erscheint nicht in Suchantworten
ChatGPT-UserOpenAIAbruf auf Wunsch eines Nutzersgilt möglicherweise nichtkein Einfluss auf die Suche
ClaudeBotAnthropicTrainingwird beachtet, auch Crawl-delaykünftige Inhalte werden nicht fürs Training genutzt
Claude-SearchBotAnthropicSuchqualitätkeine eigene Angabegeringere Sichtbarkeit in Suchantworten möglich
Claude-UserAnthropicAbruf für eine Nutzerfragekeine eigene Angabegeringere Sichtbarkeit bei Suchen im Auftrag von Nutzern möglich
GooglebotGoogleSuche inklusive KI-Funktionenwird beachtetSeite verschwindet aus den Suchergebnissen
Google-ExtendedGoogleTraining von Gemini und Groundingnur Steuerkennungkein Einfluss auf die Google-Suche
PerplexityBotPerplexitySuche in PerplexityZulassen empfohlenSeite wird nicht verlinkt
Perplexity-UserPerplexityAbruf für eine Nutzerfragewird in der Regel ignoriertSperre wirkt kaum

Die Angaben stammen von den Hilfeseiten der Anbieter⁠1234. Bei Anthropic bezieht sich die Aussage, dass die robots.txt beachtet wird, allgemein auf die eigenen Bots; einzeln genannt wird nur ClaudeBot⁠2. Perplexity schreibt nicht ausdrücklich, dass PerplexityBot die robots.txt beachtet, empfiehlt aber, ihn dort zuzulassen⁠4.

Matrix der KI-Crawler von OpenAI, Anthropic, Google und Perplexity nach Training, Suche und Nutzerabruf
  1. Training fließt in künftige Modelle
  2. Suche Quelle wird verlinkt
  3. Nutzerabruf auf Wunsch eines Nutzers
Training und Suche laufen bei allen großen Anbietern über getrennte Kennungen. Grafik: KI-Blog

Schritt für Schritt: robots.txt anpassen

  1. Öffne die Datei robots.txt im obersten Verzeichnis deiner Website. Sie muss genau so heißen, in Kleinbuchstaben, und unter deine-domain.de/robots.txt erreichbar sein⁠5. Manche Redaktionssysteme erzeugen sie selbst und bieten dafür ein Eingabefeld in den Einstellungen.
  2. Leg fest, welche Zwecke du erlauben willst. Naheliegend ist die Kombination "Training sperren, Suche erlauben", weil die Website dann in KI-Antworten verlinkt werden kann.
  3. Schreib für jede Kennung einen eigenen Abschnitt. Er beginnt mit der Zeile "User-agent:" und dem Namen, darunter folgen eine oder mehrere Zeilen mit "Disallow:" oder "Allow:" und dem Pfad.
  4. Die Reihenfolge der Regeln spielt keine Rolle, die Pfade schon. Nach dem Standard RFC 9309 gilt bei mehreren passenden Regeln die genaueste, gemessen an der Länge des Pfads; passt gar keine Regel, ist der Abruf erlaubt⁠5.
  5. Leg die Datei für jede Subdomain gesondert an, also auch für shop.deine-domain.de. Anthropic weist ausdrücklich darauf hin⁠2.
  6. Speichere die Datei, ruf sie im Browser auf und prüf, ob die neuen Zeilen erscheinen.
  7. Gib den Anbietern Zeit. OpenAI rechnet für die Suche mit rund 24 Stunden, bis eine Änderung wirkt; Perplexity nennt bis zu 24 Stunden⁠14. Der Standard sieht vor, dass Crawler eine zwischengespeicherte robots.txt in der Regel nicht länger als 24 Stunden verwenden⁠5.

Ein Beispiel für die Variante "Training sperren, Suche erlauben" besteht aus diesen Zeilen, jeweils durch eine Leerzeile getrennt:

  • User-agent: GPTBot, darunter Disallow: /
  • User-agent: ClaudeBot, darunter Disallow: /
  • User-agent: Google-Extended, darunter Disallow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot tauchen darin nicht auf. Für sie gilt dann der allgemeine Abschnitt mit "User-agent: *", sofern es einen gibt, und ohne passende Sperre dürfen sie alles abrufen⁠5. Willst du einem Crawler nur einen Bereich verbieten, ersetzt du den Schrägstrich durch den Pfad, etwa "Disallow: /intern/".

Anthropic unterstützt zusätzlich die Angabe "Crawl-delay", die keinen offiziellen Standard darstellt, mit der du aber Pausen zwischen den Abrufen verlangen kannst⁠2. Das hilft, wenn ein Crawler einen kleinen Server zu stark belastet und du ihn trotzdem nicht ganz aussperren willst.

Ein Webentwickler im grauen Kapuzenpullover notiert etwas an einem Stehschreibtisch, daneben ein zugeklappter Laptop und eine weiße Tasse
Ein paar Zeilen in der robots.txt genügen für die Steuerung. Bild: KI-generiert

Folgen des Sperrens

Eine Sperre der Trainings-Crawler wirkt nur nach vorn. Anthropic schreibt, dass eine Sperre von ClaudeBot signalisiert, künftige Inhalte der Website aus den Trainingsdaten herauszuhalten⁠2. Was ein Modell bereits gelernt hat, bleibt darin. Bei OpenAI gilt eine Sperre von GPTBot als Zeichen, dass die Inhalte nicht für das Training genutzt werden sollen⁠1.

Bei den Such-Crawlern sind die Folgen spürbarer. Seiten, die OAI-SearchBot aussperren, erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche⁠1. Eine Sperre von Claude-SearchBot kann laut Anthropic Sichtbarkeit und Genauigkeit in Suchantworten verringern⁠2. Wer PerplexityBot aussperrt, wird dort nicht verlinkt. Die Sperren sind voneinander unabhängig: Wer GPTBot blockiert, ist in der ChatGPT-Suche weiter sichtbar, solange OAI-SearchBot erlaubt ist⁠1.

Bei Google gibt es keine getrennte Kennung für die KI-Funktionen. Eine Sperre von Googlebot nimmt die Seite aus der gesamten Google-Suche, eine eigene Sperre nur für AI Overviews und den KI-Modus gibt es nicht⁠7. Google-Extended betrifft das Training künftiger Gemini-Modelle und das Grounding, also die Nutzung von Suchinhalten zur Laufzeit in den Gemini-Apps und bei Vertex AI; auf die Aufnahme in die Google-Suche und das Ranking wirkt sich die Kennung laut Google nicht aus⁠3. Wer steuern will, wie viel Text Google aus einer Seite in Suchergebnissen und KI-Antworten zeigt, nutzt nosnippet, data-nosnippet oder max-snippet⁠7.

Für die Zukunft zeichnen sich zusätzliche Signale ab. Google kündigt an, Anfang 2027 ein maschinenlesbares Signal für Trainingswünsche mit der Kennung "__usage_ai-training" zu unterstützen⁠3. Anthropic berücksichtigt seit dem 30.10.2026 bereits ein solches Signal, wobei Regeln, die ClaudeBot namentlich nennen, Vorrang haben⁠2. Wie die Entscheidung für oder gegen das Training rechtlich einzuordnen ist, behandelt Urheberrecht und KI.

Ein geschlossenes schmiedeeisernes Tor am Eingang eines kleinen Parks, dahinter führt ein Kiesweg zwischen Bäumen
Wer den Such-Crawler aussperrt, bleibt auch in den KI-Antworten draußen. Bild: KI-generiert

Grenzen der robots.txt

Die robots.txt ist eine Bitte an die Crawler. Der Standard sagt ausdrücklich, dass ihre Regeln keine Zugriffsberechtigung darstellen und Sicherheitsmaßnahmen nicht ersetzen⁠5. Google schreibt, seriöse Crawler hielten sich daran, andere womöglich nicht⁠6. Eine gesperrte Adresse kann bei Google außerdem trotzdem in den Ergebnissen erscheinen, dann ohne Beschreibung; wer eine Seite ganz heraushalten will, braucht noindex oder einen Passwortschutz⁠6.

Bei Abrufen im Auftrag eines Nutzers greift die Datei oft gar nicht. OpenAI schreibt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten, Perplexity, dass Perplexity-User sie in der Regel ignoriert⁠14. Vertrauliche Inhalte gehören deshalb hinter eine Anmeldung.

Hinzu kommt, dass sich jeder Crawler einen fremden Namen geben kann. OpenAI veröffentlicht für jeden seiner Crawler eine Liste der IP-Adressen, mit der du echte Zugriffe erkennst⁠1. Sperren nach IP-Adresse hält Anthropic dagegen für unzuverlässig, weil sie nicht dauerhaft wirken müssen⁠2. Ob die Crawler deine Seiten überhaupt besuchen, zeigt das Serverprotokoll; wie du daraus Rückschlüsse auf die Sichtbarkeit ziehst, steht unter KI-Sichtbarkeit messen.

Prüfen, ob die Sperre wirkt

Ein paar Tage nach der Änderung lohnt der Blick ins Serverprotokoll. Die Crawler geben sich im User Agent mit ihrem Namen und einem Verweis auf die Dokumentation zu erkennen, GPTBot zum Beispiel mit "GPTBot" und der Adresse openai.com/gptbot⁠1. Taucht ein gesperrter Crawler weiter auf, ruft er vielleicht nur die robots.txt selbst ab, was erlaubt und nötig ist; OpenAI kennzeichnet solche Abrufe bei OAI-SearchBot sogar eigens im User Agent⁠1. Greift er auf gesperrte Seiten zu, vergleichst du die IP-Adresse mit der veröffentlichten Liste des Anbieters. Stimmt sie nicht überein, gibt sich ein anderer Bot nur als GPTBot aus.

Für Google zeigt das URL-Prüftool in der Search Console, ob Googlebot eine Seite abrufen darf und welche Steuerangaben er sieht. Google rät, eine geänderte Angabe zur Snippet-Steuerung dort zu prüfen und Zeit für das erneute Crawlen einzuplanen, was einige Tage bis mehrere Monate dauern kann⁠7.

Du kannst Bereiche einzeln steuern. Ein Verlag kann etwa nur den Bereich mit kostenpflichtigen Artikeln für Trainings-Crawler sperren und frei zugängliche Ratgeber offen lassen. Dafür steht im Abschnitt des jeweiligen Crawlers statt des Schrägstrichs der Pfad des Bereichs. Weil nach dem Standard die genaueste Regel gilt, lässt sich mit einer zusätzlichen Zeile "Allow:" auch ein einzelner Unterordner wieder freigeben⁠5.

Voraussetzungen

  • Zugang zum Hauptverzeichnis der Website per FTP oder Dateimanager, oder ein Redaktionssystem, das die robots.txt über die Einstellungen bearbeiten lässt.
  • Vorsicht mit der Kombination "User-agent: *" und "Disallow: /". Sie sperrt alle Crawler, die sich an die Datei halten, auch Googlebot.
  • Eine Firewall oder ein Schutzdienst gegen Bots, die Crawler zusätzlich blockieren, setzen die Erlaubnis in der robots.txt außer Kraft. Wer OAI-SearchBot erlaubt, muss auch dessen IP-Adressen durchlassen.

Die llms.txt ersetzt die robots.txt nicht, denn sie beschreibt Inhalte für Sprachmodelle und erlaubt oder verbietet nichts. OAI-SearchBot spielt eine Rolle in der Suche von ChatGPT.

Deine nächsten Schritte

Entscheide getrennt über Training und Suche, dann reichen wenige Zeilen in der robots.txt.

  1. Ruf deine-domain.de/robots.txt auf und prüf, welche Crawler heute gesperrt sind.
  2. Sperr die Trainings-Crawler GPTBot, ClaudeBot und Google-Extended, wenn du kein Training willst, und lass die Such-Crawler offen.
  3. Frag deinen Hoster, ob Firewall oder Bot-Schutz KI-Crawler zusätzlich blockieren.
  4. Schütze vertrauliche Bereiche mit einer Anmeldung, die robots.txt allein reicht dafür nicht.

Häufige Fragen

Wie sperre ich GPTBot in der robots.txt?

Schreib einen Abschnitt mit der Zeile "User-agent: GPTBot" und darunter "Disallow: /". Damit sind deine Inhalte vom Training bei OpenAI ausgenommen, die Suche in ChatGPT bleibt davon unberührt.

Wie sperre ich ClaudeBot?

Genauso, mit "User-agent: ClaudeBot" und "Disallow: /". Willst du auch aus der Suche von Claude heraus, sperrst du zusätzlich Claude-SearchBot.

Verschwinde ich aus Google, wenn ich Google-Extended sperre?

Nein. Google-Extended steuert nur das Training von Gemini und das Grounding in anderen Google-Diensten. Die Google-Suche mit AI Overviews hängt an Googlebot.

Werden bereits gesammelte Inhalte gelöscht, wenn ich einen Crawler sperre?

Davon schreiben die Anbieter nichts. Anthropic spricht ausdrücklich von künftigen Inhalten, die aus dem Training herausgehalten werden.

Quellen

Stand:

  1. OpenAI: Overview of OpenAI Crawlers, abgerufen am 22.11.2026. zurück
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center), abgerufen am 22.11.2026. zurück
  3. Google: Common crawlers (Google Search Central), abgerufen am 22.11.2026. zurück
  4. Perplexity: Crawlers (Perplexity Docs), abgerufen am 22.11.2026. zurück
  5. IETF (Koster, Illyes, Zeller, Sassman): RFC 9309: Robots Exclusion Protocol, Stand 09/2022, abgerufen am 22.11.2026. zurück
  6. Google: Introduction to robots.txt (Google Search Central), abgerufen am 22.11.2026. zurück
  7. Google: AI features and your website (Google Search Central), abgerufen am 22.11.2026. zurück

Weiterlesen

Bilder: KI-generiert

Aus dem Lexikon

Bilder: KI-generiert