Zum Inhalt springen

Blog

Web & Tools5 Min. Lesezeit

Anzeige von Log-Studio (log-studio.de)

Die eigene Website für Google und KI-Suchen zugänglich machen

Eine Schritt-für-Schritt-Prüfung von robots.txt bis Rich-Ergebnisse-Test zeigt, ob Google und KI-Assistenten eine Website überhaupt lesen und richtig einordnen können.

  • #robots.txt
  • #Google Search Console
  • #KI-Suche
  • #Core Web Vitals
  • #strukturierte Daten
  • #Website-Technik

KI-unterstützt · redaktionell geprüft Details

Schrift
Auch alsMarkdownJSON

Die Datei robots.txt liegt bei praktisch jeder Website unter derselben Adresse, www.domain.de/robots.txt – und genau dort beginnt die Prüfung, ob Google und KI-Assistenten eine Seite überhaupt lesen dürfen. Wer diese Prüfung noch nie gemacht hat, weiß meist auch nicht, ob eine Agentur beim letzten Relaunch versehentlich die halbe Seite gesperrt hat. Die folgenden Schritte laufen in der Reihenfolge ab, in der sie auch tatsächlich Sinn ergeben: erst sehen, was Maschinen von der Seite überhaupt zu Gesicht bekommen, dann prüfen, ob sie es schnell genug tun, und erst danach, ob sie die Inhalte richtig einordnen.

1. robots.txt im Browser öffnen

Werkzeug: ein normaler Browser, kein Login nötig. Die Adresse lautet immer [domain]/robots.txt. Dort steht in Klartext, welche Bereiche für welche Bots gesperrt sind. Wichtig ist die Zeile Disallow: / ohne weitere Einschränkung – steht sie ganz oben ohne User-agent-Zuordnung zu einem bestimmten Bot, ist die komplette Seite für alle gesperrt. Das passiert öfter, als man denkt: Entwicklungsumgebungen bekommen aus gutem Grund eine Vollsperrung, damit Testversionen nicht bei Google landen. Wird beim Übergang auf die Live-Seite diese Zeile nicht entfernt, ist die fertige Website unsichtbar, ohne dass irgendwo eine Fehlermeldung erscheint. Wer diesen Schritt überspringt, merkt das Problem oft erst Monate später, wenn die Anfragen ausbleiben.

2. KI-Crawler einzeln identifizieren

In derselben robots.txt tauchen inzwischen oft eigene Einträge für einzelne KI-Anbieter auf, getrennt von den klassischen Suchmaschinen-Bots. OpenAI unterscheidet in der eigenen Dokumentation zwischen GPTBot, der Inhalte für das Training von Modellen sammelt, und OAI-SearchBot, der für Zitate in der ChatGPT-Suche zuständig ist – beide lassen sich getrennt voneinander sperren. Google wiederum trennt den normalen Googlebot von Google-Extended, das laut der Google-Dokumentation zu Crawlern nur steuert, ob Inhalte für Gemini und ähnliche KI-Funktionen verwendet werden dürfen, nicht aber, ob die Seite in der normalen Google-Suche erscheint. Perplexity listet seinen Crawler unter PerplexityBot separat auf. Wer diese Unterscheidung nicht trifft, sperrt im Zweifel pauschal mit einer einzigen Zeile alle Bots gleichzeitig, auch den, der für die eigentliche Auffindbarkeit sorgt.

3. Google Search Console einrichten und die URL prüfen

Werkzeug: Google Search Console, kostenlos, ein Google-Konto reicht. Nach der Bestätigung der Eigentümerschaft zeigt die URL-Prüfung für jede einzelne Seite an, ob Google sie kennt, wann sie zuletzt gelesen wurde und ob es Probleme beim Zugriff gab. Fehlt dieser Schritt, bleibt jede Vermutung über die Sichtbarkeit genau das: eine Vermutung. Ein Malerbetrieb, dessen Website vor drei Jahren bei einer Agentur gebaut wurde und seither niemand mehr angefasst hat, findet hier häufig eine Handvoll Seiten, die als „Gecrawlt – zurzeit nicht indexiert" markiert sind. Das ist kein Totalausfall, aber ein Hinweis, dass etwas an Inhalt oder interner Verlinkung nicht überzeugt.

4. Die XML-Sitemap prüfen und einreichen

Die Sitemap liegt meist unter [domain]/sitemap.xml und wird von den meisten Content-Management-Systemen automatisch erzeugt. In der Search Console lässt sie sich unter „Sitemaps" eintragen. Fehlt sie oder enthält sie veraltete Adressen, müssen Bots jede neue Seite über interne Links finden – das funktioniert, dauert aber länger und ist bei kleinen Seiten mit wenigen internen Verweisen besonders unzuverlässig. Wer nach einem Relaunch die alten Adressen nicht sauber umleitet, trifft genau auf das Problem, das im Beitrag zum Relaunch ohne Weiterleitungen beschrieben ist: eine funktionierende Sitemap ersetzt keine fehlenden Weiterleitungen.

5. Ladezeit mit PageSpeed Insights messen

Werkzeug: PageSpeed Insights, kostenlos, ohne Login. Das Tool misst die Core Web Vitals, also Ladezeit, visuelle Stabilität und Reaktionsfähigkeit, getrennt für Mobil- und Desktop-Ansicht. Google beschreibt in der Dokumentation zur Page Experience, dass diese Werte als Signal in die Suche einfließen. Für Crawler zählt zusätzlich das sogenannte Crawl-Budget: Laut der Google-Dokumentation zum Crawl-Budget bevorzugen Bots schnell antwortende Server, weil sie in derselben Zeit mehr Seiten lesen können. Bei einer Website mit zwanzig Unterseiten spielt das kaum eine Rolle. Bei einem Online-Katalog mit mehreren hundert Produktseiten kann eine langsame Serverantwort dazu führen, dass neue Seiten erst Wochen später erfasst werden.

6. Strukturierte Daten mit dem Rich-Ergebnisse-Test prüfen

Werkzeug: der Rich-Ergebnisse-Test von Google, kostenlos. Er zeigt, ob eine Seite maschinenlesbare Auszeichnung nach schema.org enthält – etwa für Öffnungszeiten, Adresse oder Bewertungen eines lokalen Betriebs, dokumentiert in Googles Leitfaden zu LocalBusiness. Ohne diese Auszeichnung muss jedes System den Text selbst interpretieren, was bei unklar formulierten Kontaktseiten öfter schiefgeht, als man annimmt. Mit sauberem Markup lässt sich die Adresse eines Handwerksbetriebs zuverlässig aus dem Quelltext auslesen, ganz ohne Rätselraten über Formulierungen im Fließtext.

7. Stichprobe in einem KI-Chat selbst durchführen

Der letzte Praxistest läuft außerhalb der Werkzeugkiste: in Perplexity oder in ChatGPT mit aktivierter Websuche nach dem eigenen Betrieb fragen und beobachten, ob und wie die Seite zitiert wird. Das ist kein Beleg für irgendetwas Allgemeingültiges, nur eine Momentaufnahme an einem bestimmten Tag mit einem bestimmten Modell. Trotzdem zeigt sie, ob die vorangegangenen Schritte überhaupt etwas verändert haben.

Der Schritt, der am häufigsten schiefgeht

Am häufigsten scheitert nicht die Technik, sondern die Reihenfolge: Jemand sperrt in robots.txt vorsorglich alle KI-Bots, weil die eigenen Texte „nicht fürs Training" gedacht sind – und übersieht dabei, dass OAI-SearchBot und PerplexityBot nicht trainieren, sondern nur zitieren, wenn jemand aktiv danach fragt. Das Sperren von GPTBot hat außerdem keinerlei Einfluss auf die Position in der normalen Google-Suche; wer sich davon mehr Sichtbarkeit erhofft, verwechselt zwei unabhängige Systeme.

Barrierefreiheit prüft keines der genannten Werkzeuge. Das bleibt eine eigene Baustelle.

Wer die ersten sechs Schritte nicht selbst durchklicken will, findet mit dem kostenlosen Website-Check von Log-Studio eine schnellere Variante: Er misst ohne Anmeldung Ladezeit, Auffindbarkeit bei Google, Sicherheit, Technik und ob KI-Assistenten die Seite überhaupt lesen können. Log-Studio, die Webdesign-Marke von Log-System Development, baut anschließend auch Websites für kleine Betriebe, mit einem festen Ansprechpartner statt Agenturticket – geeignet für Betriebe, die wissen wollen, woran es hakt, bevor sie Geld in einen Relaunch stecken.

Verantwortlich: Yusuf Senel. Entstanden mit KI-Unterstützung, nach dem Erscheinen redaktionell geprüft. So arbeitet wischtig.de

Weiterlesen

  • Web & ToolsAnzeige von Log-Studio (log-studio.de)

    Die eigene Website in einem Durchgang selbst prüfen

    Sechs Schritte, mit denen Inhaberinnen und Inhaber kleiner Betriebe Core Web Vitals, Mobilfreundlichkeit, Linkstruktur und Kontaktwege ihrer eigenen Website selbst prüfen – inklusive kostenlosem Website-Check zum Einstieg.

  • Web & ToolsAnzeige von Log-Studio (log-studio.de)

    Die eigene Website Schritt für Schritt selbst prüfen

    Neun Werkzeuge, eine feste Reihenfolge: von der SSL-Prüfung über Search Console und PageSpeed Insights bis zum Abgleich mit dem Google-Unternehmensprofil – so läuft ein Website-Check ohne Agentur wirklich ab.