Auf einer Website gab es massive Probleme mit Googlebot-Anfragen für nicht existierende Seiten. Dies führte zu Millionen von Anfragen, insbesondere für eine einzige URL mit Abfragezeichenfolgen. Die Website stellte daraufhin fest, dass ihre Sichtbarkeit bei Google erheblich abnahm.
Seiten mit „NoIndex“ entfernt und als 410 markiert
Die Antwort auf diese Seiten war es, einen Serverstatuscode 410 zurückzugeben. Dieser Code signalisiert Crawlern, dass die Seite dauerhaft entfernt wurde. Er ist eindeutiger als ein 404-Fehler, der lediglich signalisiert, dass die Seite nicht verfügbar ist, aber wieder auftauchen könnte.
Der Website-Betreiber hatte zuvor Millionen URLs entfernt, die ungeschützt zugänglich waren, und sie durch den 410-Code ersetzt. Trotz dieser Maßnahmen rief Googlebot diese Seiten weiterhin in großer Zahl auf.
Problem: Rankings gingen zurück
Drei Wochen nach der Implementierung der 410-Codes blieb das Problem bestehen, und die Betreiber sahen riesige Zahlen von Anfragen auf den Serverprotokollen. Diese Belastung ähnelte einem DDoS-Angriff. Eine signifikante URL mit Query-Strings wurde dabei besonders oft aufgerufen. Neben hoher Protokollbelastung bemerkte die Website auch einen Rückgang der Suchmaschinenplatzierungen.
Googles Antwort darauf
Laut John Mueller von Google ist es normal, dass Googlebot weiterhin nach Seiten sucht, selbst wenn sie nicht mehr existieren. Google versucht sicherzustellen, dass entfernte Seiten wirklich nicht mehr verfügbar sind. Ist das der Fall, könnte man das Crawlen durch die robots.txt-Datei blockieren, obwohl dies das Rendering anderer wichtiger Seiten beeinträchtigen könnte.
Muellers Empfehlungen
- Doppelt prüfen, dass die betroffenen URLs nirgendwo im Seitenaufbau (wie JavaScript oder JSON-Payloads) genutzt werden.
- In Chrome DevTools simulieren, wie das Blockieren dieser URLs die Website darstellt.
- Die Google Search Console im Auge behalten, um mögliche Probleme wie Soft-404-Fehler aufzudecken.
Fazit
John Mueller hob hervor, dass man tiefergehende Nachforschung betreiben sollte, um versehentliche Fehler der Website-Entwicklung aufzuspüren. Es gilt sicherzustellen, dass das Problem nicht von internen Faktoren, sondern tatsächlich von Googles Verhalten resultiert.
