Was sind Indexierung und Crawling?

Google findet neue Seiten über Links und über die Sitemap, eine Liste aller Adressen einer Website. Der Googlebot ruft sie ab, danach entscheidet Google, ob eine Seite in den Index kommt. Nicht jede abgerufene Seite wird aufgenommen, und ein Platz im Index lässt sich auch nicht kaufen.

Für Googles KI-Übersichten muss eine indexierte Seite außerdem mit Textausschnitt angezeigt werden dürfen, und die Website darf in der Search Console nicht von den KI-Funktionen abgemeldet sein. ChatGPT, Claude und Perplexity betreiben eigene Such-Crawler; welche das sind, zeigt der Eintrag KI-Crawler.

Meine Seite fehlt bei Google – was prüfen?

Die meisten Antworten liefert die Search Console, Googles kostenloses Werkzeug für Website-Betreiber. Haben Sie keinen Zugang, fragen Sie Ihre Agentur danach.

1. Nutzen Sie die URL-Prüfung statt der Suche nach site:ihre-domain.de, denn die site:-Suche zeigt laut Google nicht unbedingt alle indexierten Seiten. In der URL-Prüfung geben Sie die Adresse oben ins Suchfeld ein und sehen, ob die Seite im Index ist und wann Google sie zuletzt abgerufen hat.
2. Achten Sie auf die Meldung. „Gefunden – zurzeit nicht indexiert“ heißt, dass Google die Adresse kennt, die Seite aber noch nicht abgerufen hat, meist um die Website nicht zu überlasten. „Gecrawlt – zurzeit nicht indexiert“ heißt, dass Google die Seite abgerufen, aber nicht aufgenommen hat. Diese Meldung ist nach Googles Hilfe für viele Websites üblich und nicht unbedingt ein Problem.
3. Suchen Sie nach Sperren. Eine Zeile in der robots.txt verbietet Google das Abrufen, die Anweisung noindex im Quelltext verbietet die Aufnahme, eine Login-Pflicht verhindert beides. Prüfen Sie nach einem Relaunch, ob ein noindex aus der Testphase mit online gegangen ist.
4. Klären Sie doppelte Adressen. Ist dieselbe Seite unter mehreren Adressen erreichbar, etwa mit und ohne „www“, wählt Google selbst eine aus. Eine dauerhafte Weiterleitung und der Hinweis canonical im Quelltext, der die bevorzugte Adresse nennt, sind für Google starke Signale; entscheiden kann Google trotzdem anders. Ob Ihre Weiterleitung greift, sehen Sie, wenn Sie www.ihre-domain.de aufrufen und die Adresszeile danach die andere Form zeigt. Nach einem Relaunch gehört dazu, dass jede alte Adresse dauerhaft auf ihre neue Entsprechung weiterleitet, sonst landen Besucher und Google auf Fehlerseiten.
5. Beantragen Sie für wichtige Seiten die Indexierung, ebenfalls in der URL-Prüfung. Google nimmt solche Anträge an, verspricht aber nichts und begrenzt sie pro Tag. Für die ganze Website hilft eine Sitemap mit dem echten Änderungsdatum jeder Seite, denn Google nutzt dieses Datum nur, wenn es durchgehend und nachprüfbar stimmt.

Wenn Google eine alte Fassung zeigt

Am 7. November 2026 haben wir alle Adressen aus unserer Sitemap durch die URL-Prüfung geschickt. Den Artikel darüber, wie man in KI-Antworten auftaucht, hatte Google zuletzt am 30. August abgerufen. Am 4. November hatten wir darin ein Preisbeispiel aus unserem früheren Preismodell ersetzt. Die Sitemap gab Google keinen Anlass, den Artikel neu abzurufen, denn dort stand weiter der 28. August. Wir hatten das Änderungsdatum des Artikels nicht nachgetragen. Bis Google den Artikel erneut abruft, arbeitet die Suche mit der Fassung von Ende August, auch für die KI-Übersicht.

Bei den meisten anderen Seiten trägt unsere Sitemap das Datum automatisch aus dem Änderungsprotokoll unseres Quellcodes ein. Für Kunden werten wir die Search Console im Rahmen der Wachstums-Engine laufend aus; die technische Wartung umfasst Hosting, Updates, Sicherheit, Backups und Monitoring.

Testumgebung richtig sperren

Eine Testumgebung ist die Vorschau einer Website vor dem Start. Wer sie mit Disallow: / in der robots.txt sperrt, kann das Gegenteil erreichen. Die Zeile verbietet nur das Abrufen. Google sieht dann auch das noindex nicht, das die Seite aus dem Index halten soll, und kann die Adresse trotzdem aufnehmen, ohne Beschreibung, sobald sie irgendwo verlinkt ist.

Eine Testdomain bleibt ohnehin nicht geheim. Let's Encrypt, ein Anbieter kostenloser Zertifikate für https, trägt jedes Zertifikat mit dem Namen der Domain in öffentliche Verzeichnisse ein.

Unsere eigenen Testumgebungen dürfen deshalb abgerufen werden und tragen ein noindex. Wer eine Vorschau ganz verbergen will, setzt einen Passwortschutz davor; dann kommt auch kein Crawler hinein.

Quellen

• Google: So funktioniert die Google-Suche
• Google: Leitfaden für KI-Funktionen der Suche
• Google: Bericht zur Seitenindexierung
• Google: URL-Prüftool
• Google: Doppelte Adressen zusammenführen (canonical, Weiterleitungen)
• Google: Die Suche mit site:
• Google: Einführung in robots.txt
• Google: Indexierung mit noindex blockieren
• Google: Sitemaps erstellen (lastmod)
• Let's Encrypt: Certificate Transparency

Julian Beginn

Gründer · Umsetzung & Technik · Aktualisiert am 07. November 2026