Was sind KI-Crawler?

KI-Crawler sind Programme von KI-Anbietern wie OpenAI, Anthropic oder Perplexity, die Websites automatisch abrufen. Je nach Crawler sammeln sie Trainingsdaten, bauen einen Suchindex für KI-Antworten auf oder holen eine Seite, weil ein Nutzer gerade danach fragt.

Die großen KI-Anbieter trennen ihre Crawler meist nach drei Aufgaben. In der Datei robots.txt, die im Hauptverzeichnis jeder Website liegt, lässt sich jeder einzeln zulassen oder sperren. Stand November 2026:

Anbieter	Training	Suche	Abruf auf Nutzerfrage
OpenAI (ChatGPT)	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic (Claude)	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	–	PerplexityBot	Perplexity-User
Google (Gemini)	Google-Extended	Googlebot	Google-Agent
Apple	Applebot-Extended	Applebot	–

Google-Extended und Applebot-Extended sind keine eigenen Crawler, nur Namen für die robots.txt. Mit ihnen legen Sie fest, ob Google und Apple die Seiten, die ihre normalen Crawler ohnehin abrufen, auch für ihre KI verwenden dürfen. Google-Agent ruft Seiten für KI-Agenten ab, die im Auftrag eines Nutzers im Netz etwas erledigen.

Was eine Sperre bewirkt

Sperren Sie OAI-SearchBot aus, erscheint Ihre Website nach Angabe von OpenAI nicht mehr in den Antworten der ChatGPT-Suche, höchstens noch als reiner Link. Anthropic formuliert vorsichtiger und schreibt, eine Sperre von Claude-SearchBot oder Claude-User könne die Sichtbarkeit in Claudes Suche verringern.

Bei den Abrufen auf Nutzerfrage ist es anders, denn die löst ein Mensch aus. Perplexity und Google schreiben, dass diese Abrufe die robots.txt in der Regel nicht beachten. Bei OpenAI heißt es, die Regeln gälten dafür unter Umständen nicht. Anthropic gibt an, dass sich alle seine Crawler an die robots.txt halten.

Aus Googles KI-Übersichten nimmt man eine Website nicht über die robots.txt heraus, denn dafür müsste man den Googlebot und damit die ganze Google-Suche aussperren. Seit dem 31. August 2026 gibt es dafür für alle Websites einen Schalter in der Search Console, Googles kostenlosem Werkzeug für Website-Betreiber. Ist er umgelegt, kommen aus den KI-Funktionen weder Besuche noch Einblendungen. Die übrigen Treffer bleiben davon unberührt.

Training sperren, Suche erlauben

Sollen Ihre Texte nicht in das Training von Sprachmodellen eingehen, aber in ChatGPT, Claude und Perplexity als Quelle erscheinen, sperren Sie nur die Spalte „Training“:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Jede Regel gilt nur für den Namen darüber; eine Sperre für GPTBot betrifft OAI-SearchBot nicht. Ändern Sie die Regeln für OAI-SearchBot, braucht die ChatGPT-Suche nach Angabe von OpenAI etwa einen Tag, bis sie das berücksichtigt. Die Zeile für Google-Extended nimmt Ihre Seiten zugleich aus den Antworten der Gemini-App, die sich auf die Google-Suche stützen. Soll Gemini Sie dort nennen dürfen, lassen Sie diese Zeile weg. Auf die Google-Suche selbst wirkt sie nicht, ebenso wenig Applebot-Extended auf die Suche bei Apple.

Ein gemeinsames Signal ist in Arbeit. Die IETF, das Gremium für Internetstandards, berät über eine Zeile, mit der man das Training bei allen teilnehmenden Anbietern zugleich ablehnt. Anthropic hat nach eigener Angabe am 30. Oktober 2026 begonnen, sie zu beachten, und führt das nach und nach in allen Diensten ein. Google will sie Anfang 2027 unterstützen und ein Nein dann so werten, als wäre Google-Extended gesperrt.

Sperrt meine Website ChatGPT aus?

In der robots.txt kommt das selten vor. Ahrefs hat 24.550 Websites mit .de-, .at- und .ch-Endung ausgewertet (Datenstand August 2026), und 2,27 % davon sperren GPTBot. Bei knapp der Hälfte dieser Sperren steht GPTBot gar nicht in der Datei; sie entstehen durch eine Regel, die jeden Crawler aussperrt. Ahrefs vermutet dahinter oft Testumgebungen oder geparkte Domains.

Ahrefs hat nur die Datei gezählt. Eine Sperre kann auch vor der Website sitzen, beim Hoster oder bei Cloudflare, einem Dienst, über den viele Websites ausgeliefert und geschützt werden. Cloudflare sperrte KI-Crawler bei neuen Domains ab Juli 2025 von sich aus. Laut der aktuellen Anleitung (Stand 2. November 2026) lässt Cloudflare bei neuen Domains Such-, Agenten- und Trainings-Crawler inzwischen zunächst zu. Was für Ihre Domain gilt, steht im Cloudflare-Konto unter „AI Crawler and Agent access policies“. Eine Sperre für „Training“ trifft dort auch Crawler, die zugleich für eine Suche lesen.

Die Datei prüfen Sie selbst, indem Sie ihre-domain.de/robots.txt im Browser aufrufen. Steht dort User-agent: * und darunter Disallow: /, ist jeder Crawler ausgesperrt, für den die Datei keinen eigenen Abschnitt hat, auch der von Google. Steht einer der Namen aus der Tabelle über Disallow: /, ist nur dieser ausgesperrt. Was davor sitzt, kann Ihnen Ihre Agentur sagen:

„Welche KI-Crawler lässt unsere robots.txt zu – und sperrt unser Hoster oder Cloudflare zusätzlich welche?“

Für neovendo.de sieht die Antwort so aus. Die robots.txt lässt alle Crawler aus der Tabelle herein, auch die für das Training. Vor unserem Server sitzt kein Dienst wie Cloudflare, und Abrufe unter den Namen GPTBot, ClaudeBot und PerplexityBot bekamen am 7. November 2026 die Startseite ausgeliefert. Die Such-Crawler lassen wir herein, weil wir in KI-Antworten als Quelle erscheinen wollen, die Trainings-Crawler, damit die Modelle uns auch ohne Websuche kennen können. Wie wir das für Kunden angehen, beschreibt die Seite KI-Sichtbarkeit.

Quellen

Julian Beginn

Gründer · Umsetzung & Technik · Aktualisiert am 07. November 2026

Wo steht Ihre Website heute?

Ob ChatGPT, Perplexity und Google Sie nennen und ob Ihre Anfragen ankommen, zeigt der kostenlose KI-Sichtbarkeits-Check. Schriftlich und ohne Verkaufsgespräch.

KI-Sichtbarkeits-Check - kostenlosLieber direkt sprechen