GIYŪJIN

KI-Crawler aussperren, Suchmaschinen behalten

Wie GIYŪJIN SEO die robots.txt ergänzt, ohne Ihre Sichtbarkeit in der Suche zu gefährden.

Die Datei robots.txt sagt Crawlern, welche Bereiche einer Website sie besuchen dürfen. Seriöse Crawler halten sich daran; erzwingen lässt es sich nicht. Für Trainings-Crawler genügt ein Eintrag je Name:

# KI-Training: nicht erlaubt
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

GIYŪJIN SEO kennt die gängigen Namen von KI-Trainings-Crawlern und trägt sie für Sie ein. Suchmaschinen und KI-Suchen, die ihre Quellen nennen, bleiben erlaubt.

Die robots.txt von WordPress wirkt nur, wenn im Hauptverzeichnis keine eigene Datei robots.txt liegt.

So geht es mit GIYŪJIN SEO

  1. In der Verwaltung links auf GIYŪJIN › SEO klicken.
  2. Im Bereich Crawler das Häkchen bei KI-Trainings-Crawler in der robots.txt aussperren setzen.
  3. Unten auf Änderungen speichern klicken.
  4. Im Browser Ihre-domain.de/robots.txt aufrufen und die neuen Einträge prüfen.

Wer Inhalte wirklich schützen muss, braucht einen Passwortschutz. Für die meisten Blogs ist die Bitte in der robots.txt das richtige Maß.

Zur Seite von GIYŪJIN SEO

Schlagwörter: , , , , , , ,