Irgendwann in den letzten zwei Jahren haben KI-Firmen angefangen, deine Website zu lesen. GPTBot, ClaudeBot, PerplexityBot, dazu ein Dutzend weniger bekannte Namen: Sie alle klopfen an, und in vielen robots.txt-Dateien steht inzwischen eine hastig kopierte Blockliste dagegen. Das Problem: Diese Listen werfen meist alles in einen Topf. Und wer den falschen Bot aussperrt, verschwindet aus ChatGPT-Antworten, ohne es zu merken.
Die Entscheidung, welche KI-Crawler du zulässt, ist keine technische Fußnote, sondern eine Sichtbarkeitsentscheidung. Dieser Text sortiert die Bots in drei Klassen, geht die wichtigsten Anbieter durch und endet mit fertigen robots.txt-Blöcken für die zwei vernünftigen Positionen, die man beziehen kann.
Drei Sorten von Bots, drei verschiedene Entscheidungen
Fast jeder KI-Anbieter betreibt mehrere Crawler mit verschiedenen Aufgaben, und die Konsequenz einer Sperre ist jedes Mal eine andere.
Trainings-Crawler sammeln Text, mit dem künftige Modelle trainiert werden. Sperrst du sie, steckt dein Inhalt nicht in kommenden Modellversionen. Deine Sichtbarkeit in KI-Antworten mit Websuche berührt das kaum, denn die stützen sich auf aktuelle Suchtreffer, nicht auf Trainingswissen. Das ist die einzige der drei Sperren, die man vertreten kann, ohne Sichtbarkeit zu opfern.
Such-Crawler füllen den Suchindex, aus dem die KI-Antworten ihre Quellen holen. Sperrst du sie, kann das jeweilige System deine Seiten nicht mehr als Quelle finden und zitieren. Das ist die Sperre, die wehtut: Sie macht genau die Sichtbarkeit kaputt, die in In ChatGPT gefunden werden beschrieben ist.
Nutzer-Abrufe passieren, wenn ein Mensch dem System eine konkrete Aufgabe gibt: „fass mir diese Seite zusammen", „prüf die Öffnungszeiten auf dieser Website". Der Bot holt dann eine einzelne URL im Auftrag eines Menschen. Sperrst du ihn, bekommt dieser Mensch eine Fehlermeldung statt deiner Inhalte. Gewonnen ist damit nichts.
Merksatz: Trainings-Sperre ist Geschmackssache, Such-Sperre kostet Sichtbarkeit, Nutzer-Abruf-Sperre ärgert nur Menschen.
Wer bei dir anklopft
Die wichtigsten Namen, sortiert nach Anbieter und Klasse:
OpenAI betreibt drei: GPTBot (Training), OAI-SearchBot (Suchindex für ChatGPT-Antworten) und ChatGPT-User (Nutzer-Abrufe). Die verbreiteten Blocklisten von 2023 sperren GPTBot. Wer sie kopiert hat, sollte prüfen, ob nicht später OAI-SearchBot mit in die Liste geraten ist.
Anthropic spiegelt das Muster: ClaudeBot (Training), Claude-SearchBot (Suchindex) und Claude-User (Nutzer-Abrufe).
Perplexity nutzt PerplexityBot für den eigenen Index und Perplexity-User für Abrufe im Nutzerauftrag. Perplexity ist eine reine Antwortmaschine: PerplexityBot zu sperren heißt, dort komplett nicht stattzufinden.
Google ist der Sonderfall, der am häufigsten missverstanden wird. Die KI-Übersichten in der Suche speisen sich aus dem normalen Googlebot-Index. Es gibt keinen eigenen „KI-Übersichten-Bot", den man sperren könnte, ohne die Google-Suche gleich mit zu verlassen. Google-Extended ist kein Crawler, sondern ein Steuer-Token in der robots.txt: Es regelt nur, ob deine Inhalte für das Training der Gemini-Modelle verwendet werden dürfen. Auf die KI-Übersichten hat es keinen Einfluss.
Der Rest: Applebot-Extended (Apple, Trainings-Opt-out, analog zu Google-Extended), CCBot (Common Crawl, ein offenes Webarchiv, aus dem viele Modelle trainiert wurden), Meta-ExternalAgent (Meta, Training) und Bytespider (ByteDance). Letzterer ist berüchtigt dafür, robots.txt schlicht zu ignorieren.
Welche Position du beziehen solltest
Für die allermeisten Firmen-Websites ist die Rechnung einfach: Deine Inhalte sind Werbung für deine Leistung, nicht die Leistung selbst. Ein Handwerksbetrieb, ein SaaS, eine Kanzlei lebt davon, gefunden und empfohlen zu werden, auch von einem Sprachmodell, das aus dem Training weiß, dass es die Firma gibt. Dann ist die richtige Position: alles durchlassen, auch die Trainings-Crawler. Jede Sperre kann nur Sichtbarkeit kosten und nichts einbringen.
Anders liegt der Fall, wenn deine Inhalte dein Produkt sind, etwa als Verlag, kostenpflichtiges Fachportal oder Fotograf. Dann ist die Trainings-Sperre eine legitime Geschäftsentscheidung: Du willst nicht, dass ein Modell dein Produkt gratis reproduziert. Aber auch dann gilt: Such-Crawler und Nutzer-Abrufe durchlassen, sonst verschwindest du aus den Antworten, die dir Kunden bringen könnten.
Was es praktisch nie braucht, ist die Totalsperre „alles mit KI im Namen raus". Sie ist die Standardeinstellung der Empörung von 2023 und kostet heute messbar Reichweite.
Die zwei robots.txt-Blöcke
Position eins, Sichtbarkeit maximieren: Hier ist nichts zu tun, denn ohne Regeln dürfen alle Bots ohnehin alles. Prüf nur, ob nicht alte Sperren drinstehen, die weg müssen.
Position zwei, Training raus, Sichtbarkeit rein:
# Training nein
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
# Suche und Nutzer-Abrufe ja: OAI-SearchBot, Claude-SearchBot,
# PerplexityBot, ChatGPT-User usw. bekommen keine Regeln und
# duerfen damit alles.
Die Datei gehört ins Wurzelverzeichnis, direkt neben die llms.txt, falls du eine hast. Die beiden ergänzen sich: robots.txt sagt, wer nicht lesen soll, llms.txt sagt denen, die lesen dürfen, wo das Wichtige steht.
Was robots.txt kann, und die Falle, die keiner sieht
Zwei Einschränkungen gehören dazu. Erstens ist robots.txt eine Bitte, kein Schloss: Seriöse Anbieter halten sich daran, Bytespider und diverse anonyme Scraper nicht. Wer wirklich sperren will, muss auf Serverebene sperren, per Firewall oder CDN-Regel, anhand der veröffentlichten IP-Bereiche der Anbieter.
Zweitens, und das ist die Falle: Vielleicht sperrst du längst, ohne es zu wissen. Große CDN- und Hosting-Anbieter haben Schalter eingebaut, die KI-Crawler pauschal abweisen. Bei Cloudflare ist die KI-Crawler-Sperre für neu angelegte Domains seit Mitte 2025 sogar die Voreinstellung. Diese Sperren greifen vor deiner robots.txt: Der Bot bekommt einen Fehler, egal was in deiner Datei steht. Wenn deine Seite in keiner KI-Antwort auftaucht, obwohl Text und Rankings stimmen, ist ein aktivierter Bot-Schutz beim Hoster der erste Verdächtige.
Prüfen, wer wirklich kommt
Ob und wie oft die KI-Crawler dich besuchen, steht in deinen Server-Logs: Such nach den User-Agent-Namen aus diesem Text. Zwei Dinge lassen sich daraus lesen. Kommt OAI-SearchBot oder PerplexityBot regelmäßig vorbei, bist du in deren Index. Gut. Kommt gar nichts, obwohl nichts gesperrt ist, fehlt es meist an der klassischen Auffindbarkeit; dann ist die Grundlagenarbeit aus der Google Search Console dran, bevor du weiter an KI-Feinheiten drehst.
Ein Wort zur Vorsicht in der Gegenrichtung: User-Agents lassen sich fälschen. Wenn ein angeblicher GPTBot deine Seite mit Anfragen flutet, prüf die IP gegen die veröffentlichten Bereiche des Anbieters, bevor du OpenAI die Schuld gibst. Meist ist es ein Scraper in Verkleidung.
Häufige Fragen
Sollte ich GPTBot blockieren?
Nur, wenn deine Inhalte selbst dein Produkt sind, etwa als Verlag oder Fachportal, und du nicht willst, dass Modelle damit trainiert werden. Für gewöhnliche Firmen-Websites bringt die Sperre nichts ein und verschenkt die Chance, dass künftige Modelle deine Firma aus dem Training kennen. Die Sichtbarkeit in ChatGPT-Antworten mit Websuche hängt ohnehin am OAI-SearchBot, nicht am GPTBot.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Trainingsmaterial für künftige OpenAI-Modelle. OAI-SearchBot füllt den Suchindex, aus dem ChatGPT bei Antworten mit Websuche seine Quellen holt. Wer in ChatGPT-Antworten zitiert werden will, muss OAI-SearchBot durchlassen; GPTBot ist dafür unerheblich.
Blockiert Google-Extended die KI-Übersichten?
Nein. Google-Extended regelt nur, ob deine Inhalte für das Training der Gemini-Modelle verwendet werden. Die KI-Übersichten in der Google-Suche entstehen aus dem normalen Suchindex; aus ihnen kommt man nur heraus, indem man Snippets einschränkt oder sich ganz aus der Suche nimmt, mit allen Folgen für die klassische Sichtbarkeit.
Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter wie OpenAI, Anthropic, Google und Apple dokumentieren ihre Crawler und halten sich an die Regeln. Einige andere, allen voran Bytespider, ignorieren sie regelmäßig. Verlässlich sperren lässt sich nur auf Serverebene anhand der IP-Bereiche.
Warum taucht meine Seite in keiner KI-Antwort auf, obwohl ich nichts blockiere?
Häufigste Ursache: Ein Bot-Schutz beim CDN oder Hoster weist die Crawler ab, bevor deine robots.txt überhaupt gelesen wird. Bei einigen Anbietern ist das inzwischen die Voreinstellung. Zweithäufigste: Die Seite ist für ihr Thema in der klassischen Suche zu schlecht auffindbar, denn KI-Antworten wählen ihre Quellen aus den vorderen Suchtreffern.