Liest die KI Deine Website überhaupt? Der Selbsttest in zehn Minuten

Die kurze Antwort: Die meisten Anleitungen sagen Dir, Du sollst in Deiner Website nach dem Zugang „GPTBot" suchen. Das ist der falsche Name. GPTBot zu sperren nimmt Dich nicht aus den ChatGPT-Antworten heraus. Dafür ist ein anderer Zugang zuständig. Hier ist der Test, der die richtigen prüft.

Warum so viele Firmen sich hier vertun

Vor ein oder zwei Jahren haben viele Unternehmen eine bewusste Entscheidung getroffen: Unsere Texte sollen nicht als Trainingsmaterial für KI dienen. Eine legitime Haltung, oft von der Agentur oder der Rechtsabteilung angeregt. Umgesetzt wurde sie mit einem Eintrag, der „GPTBot" aussperrt.

Andere haben genau umgekehrt gehandelt. Sie haben gelesen, dass man in KI-Antworten vorkommen möchte, haben „GPTBot" freigegeben und gewartet.

Beide Gruppen haben etwas anderes erreicht, als sie dachten.

Die zwei Zugänge, die nicht dasselbe tun

OpenAI, die Firma hinter ChatGPT, schickt mehrere verschiedene Programme zu Deiner Website. Zwei davon sind wichtig:

GPTBot sammelt Material, mit dem die KI trainiert wird. In der eigenen Dokumentation von OpenAI heißt es dazu: „Crawls content for training OpenAI's generative AI foundation models."

OAI-SearchBot holt die Seiten, die ChatGPT in seinen Antworten zeigt. Dort steht: „Powers ChatGPT's search features to surface websites in search results."

Und der entscheidende Satz, ebenfalls aus der Dokumentation: Websites, die OAI-SearchBot aussperren, erscheinen nicht in den ChatGPT-Suchantworten.¹

Daraus folgt beides. Wer nur GPTBot sperrt, bleibt in den Antworten sichtbar. Wer nur GPTBot freigibt, hat für die Antworten nichts gewonnen. Und Du kannst beides getrennt entscheiden: in den Antworten vorkommen und dem Training trotzdem widersprechen.

Der Selbsttest

Schritt 1: Die Zugangsliste ansehen. Bitte rufe im Browser Deine Internet-Adresse mit dem Zusatz /robots.txt auf, also zum Beispiel deine-firma.de/robots.txt. Diese kleine Textdatei sagt Such- und KI-Programmen, welche Seiten sie lesen dürfen.

Schritt 2: Nach den Namen suchen. Drücke Strg+F (auf dem Mac Cmd+F) und suche nacheinander nach den Namen aus der Tabelle unten. Steht unter einem Namen eine Zeile mit „Disallow: /", ist dieser Zugang für Deine ganze Website gesperrt.

Schritt 3: Auf die Sammelregel achten. Manchmal steht ganz oben User-agent: * und darunter Disallow: /. Der Stern heißt „alle". Dann ist alles gesperrt, auch ohne dass ein einziger KI-Zugang beim Namen genannt wird.

Schritt 4: Den Sicherheitsdienst prüfen. Das ist der Schritt, den fast alle Anleitungen auslassen. Deine robots.txt kann alles erlauben und der Zugang trotzdem nicht funktionieren, weil ein vorgeschalteter Schutzdienst KI-Programme aussperrt. Das ist von außen nicht sichtbar. Bitte frage die Person, die Deine Website betreut: „Blockiert unser Schutzdienst KI-Zugriffe?"

Welcher Zugang wofür zuständig ist

Zur Ehrlichkeit gehört: Die Aufteilung zwischen Training und Antworten ist bei OpenAI dokumentiert.¹ Für Claude und Perplexity behaupten wir hier keine solche Trennung, weil wir sie nicht belegen können. Wer Dir für alle Dienste dieselbe saubere Aufteilung erzählt, geht über das hinaus, was in den Unterlagen steht.

Was Du findest und was es bedeutet

Du findest keinen dieser Namen und auch keine Sammelsperre. Dann ist in aller Regel alles erlaubt. Weiter mit Schritt 4.

Du findest „Disallow: /" unter OAI-SearchBot. Das ist der Fall, der Dich aus den ChatGPT-Antworten heraushält. Wenn das nicht gewollt ist, bitte die Person ansprechen, die Deine Website betreut.

Du findest „Disallow: /" nur unter GPTBot. Das ist meist eine bewusste Entscheidung gegen das Training. Sie kostet Dich keine Sichtbarkeit in den Antworten. Du kannst sie so lassen.

Du findest eine Sammelsperre mit dem Stern. Dann ist alles gesperrt, meist ungewollt und oft ein Überbleibsel aus der Bauphase der Website.

Wenn alles erlaubt ist und trotzdem nichts passiert

Dann liegt es nicht an den Zugängen. Die häufigsten weiteren Gründe: Deine Seiten beantworten keine konkreten Fragen, Deine Inhalte werden erst im Browser aufgebaut und die KI sieht eine fast leere Seite, oder über Deine Firma steht auf fremden Websites nichts. Diese Gründe stehen mit je einem Prüfschritt in Warum empfiehlt ChatGPT meine Firma nicht?.

Und der Vollständigkeit halber: Auch wenn alles offen ist, wirst Du nicht in jeder Antwort vorkommen. KI-Antworten schwanken.

Häufige Fragen

Muss ich KI-Zugänge erlauben, um in Antworten vorzukommen? Für ChatGPT ja, dort ist OAI-SearchBot zuständig. Wer ihn aussperrt, erscheint nicht mehr als Quelle in den Antworten.¹

Verliere ich Rechte an meinen Texten, wenn ich die Zugänge erlaube? Das sind zwei getrennte Fragen. Das Training läuft bei OpenAI über GPTBot, die Antworten über OAI-SearchBot. Du kannst das Training ablehnen und in den Antworten trotzdem vorkommen.

Meine robots.txt ist in Ordnung, aber es passiert nichts. Woran liegt das? Häufig an einem vorgeschalteten Schutzdienst, der KI-Zugriffe blockiert, ohne dass es in der robots.txt steht. Frage die Person, die Deine Website betreut, ob so ein Dienst aktiv ist.

Kann ich das ohne Technikkenntnisse prüfen? Die Schritte 1 bis 3 ja, dafür reicht der Browser. Für Schritt 4 brauchst Du jemanden mit Zugriff auf die Technik.

Wie schnell wirkt es, wenn ich eine Sperre aufhebe? Es kann einige Wochen dauern, bis die Dienste die Seiten neu abrufen. Eine sofortige Wirkung solltest Du nicht erwarten.

Quellen

Quellen zuletzt geprüft am 11.09.2026