Google hat eine neue Richtlinie und Erklärung zu der Datei robots.txt veröffentlicht, die es Webseiten-Betreibern und SEOs ermöglicht, die Kontrolle über Suchmaschinen-Bots und ihre Aktivitäten zu haben. Im Folgenden erfährst du, worum es geht.
Was ist robots.txt?
Die Datei robots.txt ist ein Standard, der seit über 30 Jahren existiert und von Suchmaschinen sowie anderen Crawlern unterstützt wird. Mit dieser Datei kannst du bestimmten Bots vorschreiben, welche Seiten oder Inhalte deiner Website sie crawlen dürfen und welche nicht. Sie erlaubt dir also, den Zugriff auf bestimmte Bereiche deiner Webseite einzuschränken, um sensible Daten oder irrelevante Informationen zu schützen.
Das Tolle ist, dass du sie ganz leicht erstellen kannst! Falls die robots.txt fehlt, zeigt Google Search Console einen 404-Fehler an. Das ist kein großes Problem, wird jedoch nach etwa 30 Tagen automatisch entfernt. Möchtest du dieses Problem umgehen, kannst du einfach eine leere robots.txt-Datei hinzufügen – auch das ist völlig akzeptabel.
Grundlagen und sinnvolle Anwendungen
Die neuen Google-Dokumentationen führen von den Grundlagen bis hin zu fortgeschrittenen Anwendungen ein. Grundsätzlich gibt es zwei Szenarien:
- Du kannst die robots.txt-Datei leer lassen, wenn deine ganze Website durchsucht werden darf.
- Durch Regeln kannst du selbst bestimmen, welche Bereiche ausgeschlossen werden.
Beispiele und fortschrittliche Anwendungen
Die robots.txt-Datei bietet erstaunliche Möglichkeiten, wie beispielsweise:
- Das gezielte Blockieren von PDFs oder überflüssigen Suchseiten.
- Das Definieren spezieller Regeln für einzelne Crawler.
- Das Kommentieren von Abschnitten für bessere interne Dokumentation.
Apropos Kommentare: Sie sind super hilfreich, um anderen zu erklären, warum du bestimmte Regeln eingeführt hast. Letztendlich ist die Datei nichts weiter als eine einfache Textdatei, die du mit einem Texteditor anpassen kannst.
Tools für die robots.txt
Viele Content-Management-Systeme (wie WordPress) bieten bequeme Möglichkeiten, die robots.txt-Datei direkt zu bearbeiten. Zusätzlich kannst du Google-Werkzeuge verwenden, um sicherzustellen, dass sie korrekt konfiguriert ist und Suchmaschinen dabei hilft, deine Inhalte besser zu verarbeiten.
Die Vorteile zusammengefasst
**Mit der robots.txt-Datei kannst du Folgendes erreichen:**
- Den Schutz sensibler Inhalte wie Login-Seiten oder Einkaufswagen.
- Klar definieren, welche URLs von Bots ignoriert werden sollen.
- Die Steuerung des Crawl-Budgets optimieren, damit Suchmaschinen nur relevante Bereiche scannen.
Die neue Anleitung von Google erklärt dies einfach und anschaulich – perfekt, um sowohl Einsteigern als auch Profis den Umgang mit robots.txt näherzubringen.
Bildquelle: Shutterstock
