Die robots.txt-Datei auf einer WordPress-Seite wird oft übersehen, dabei kann sie erheblich dazu beitragen, unnötige Suchmaschinenaktivitäten zu reduzieren und die Indexierung schlanker zu gestalten. Viele WordPress-Seiten beginnen mit einer Standard-robots.txt-Konfiguration, die basale Direktiven enthält, jedoch nicht immer optimal ist. Mit ein paar gezielten Ergänzungen und Anpassungen kannst du erheblich die Kontrolle über den Crawling- und Indexierungsprozess deiner Website verbessern.
Die Position der WordPress robots.txt-Datei
WordPress generiert standardmäßig eine virtuelle robots.txt-Datei. Du kannst sie aufrufen, indem du /robots.txt an die URL deiner Seite anhängst (z. B. https://deineseite.com/robots.txt). Diese Standarddatei ist virtuell und wird nicht auf deinem Server als physische Datei gespeichert. Solltest du jedoch eine eigene robots.txt verwenden wollen, genügt es, diese direkt in das Root-Verzeichnis deines WordPress-Installationsordners hochzuladen.
Du kannst dies entweder manuell über ein FTP-Programm erledigen oder ein Plugin wie Yoast SEO verwenden, das dir im Adminbereich eine einfache Bearbeitungsoberfläche für die robots.txt zur Verfügung stellt.
Die Standard-robots.txt und warum sie nicht ausreicht
WordPress erstellt standardmäßig eine robots.txt-Datei mit folgendem Inhalt:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Zwar ist dies eine sichere Konfiguration, aber nicht optimal, da sie keine XML-Sitemap angibt oder überflüssiges Crawling vermeidet.
Füge immer deine XML-Sitemaps hinzu
Eine wichtige Ergänzung zu deiner robots.txt sind deine XML-Sitemaps. Sie helfen Suchmaschinen, wichtige URLs schneller zu entdecken:
Sitemap: https://deineseite.com/sitemap_index.xml Sitemap: https://deineseite.com/sitemap2.xml
Verzeichnisse, die du nicht blockieren solltest
Bestimmte veraltete Empfehlungen besagen, dass du Verzeichnisse wie /wp-includes/ oder /wp-content/plugins/ blockieren solltest. Das solltest du aber nicht tun, da:
- Moderne Suchmaschinen in der Lage sind, irrelevante Dateien selbst zu ignorieren.
- Das Blockieren von CSS- und JavaScript-Dateien die korrekte Darstellung und Indexierung deiner Seite beeinträchtigen kann.
Staging-Websites abschirmen
Wenn du Staging-Websites verwendest, stelle sicher, dass diese nicht in Suchmaschinenindexe aufgenommen werden. Eine Methode hierzu ist die komplette Blockierung durch die robots.txt:
User-agent: * Disallow: /
Zusätzlich kannst du in WordPress unter den Lesereinstellungen die Option „Suchmaschinen von der Indexierung dieser Website abhalten“ aktivieren. Denke daran, diese Einstellungen vor dem Live-Schalten der Seite rückgängig zu machen.
Unnötige WordPress-Verzeichnisse blockieren
Bestimmte WordPress-Standardpfade sollten auf jeden Fall blockiert werden, da sie keinen Mehrwert für deine SEO-Strategie bieten:
Disallow: /trackback/ Disallow: /comments/feed/ Disallow: */embed/ Disallow: /cgi-bin/ Disallow: /wp-login.php
Bestimmte URL-Parameter blockieren
Parameter wie beispielsweise replytocom (Antworten in Kommentaren) oder print (Druckversionen) erzeugen oft unnötige Crawling-Last. Diese kannst du mit folgenden Einträgen effektiv blockieren:
User-agent: * Disallow: /*?*replytocom= Disallow: /*?*print=
Mit niedrigwertigen Taxonomien und Suchseiten umgehen
Tag-Archive oder interne Suchseiten, die keinen Mehrwert bieten, können ebenfalls in der robots.txt blockiert werden:
User-agent: * Disallow: /tag/ Disallow: /page/ Disallow: /?s=
Die Effektivität prüfen
Kontrolliere regelmäßig die Crawl-Statistiken in der Google Search Console. So kannst du sicherstellen, dass Bots keinen unnötigen Ressourcenverbrauch verursachen. Folgende Punkte helfen dir dabei:
- Nutze in der Search Console den Crawl-Statistik-Bericht im Bereich Einstellungen.
- Überprüfe mit dem URL-Inspektions-Tool, ob blockierte Seiten trotzdem indexiert sind.
- Stelle sicher, dass deine XML-Sitemaps nur gewünschte Seiten referenzieren.
Fazit
Die robots.txt-Datei ist ein kraftvolles Werkzeug, um unnötige Crawler-Anfragen zu reduzieren und deine Website gegenüber Suchmaschinen effizienter zu gestalten. Nutze die hier genannten Tipps, um deine WordPress-Installation zu optimieren, und spare durch präzises Crawling wertvolle Serverressourcen.
