Noindex-Fehler in Google Search Console
John Mueller von Google hat auf eine Diskussion auf Reddit über einen scheinbar falschen „Noindex-detected“-Fehler in der Google Search Console geantwortet. Dieser Fehler wurde angezeigt, obwohl der gemeldete X-Robots-Tag oder eine andere blockierende Anweisung nicht vorhanden war. Er hat mögliche Ursachen vorgeschlagen, während andere Nutzer in der Diskussion ebenfalls Lösungen teilten.
Was ist der Fehler?
Ein Nutzer beschrieb, dass die Search Console meldete, dass eine Seite nicht indexiert werden konnte, obwohl sie für das Indexieren geöffnet sein sollte. Die Seite zeigte keinen Noindex-Meta-Tag im HTML-Quellcode, keinen entsprechenden Eintrag in der robots.txt-Datei und auch keine HTTP-Antwortheader mit „Noindex“. Zudem ergab der Live-Test in der Google Search Console, dass die Seite indexierbar ist. Der Nutzer vermutete, dass möglicherweise Cloudflare eine Rolle spielen könnte.
Cloudflare als mögliche Ursache?
Ein anderer Teilnehmer der Diskussion schlug vor, dass Cloudflare möglicherweise das Problem verursachen könnte. Es wurde ein Leitfaden geteilt, um festzustellen, ob Cloudflare oder andere Dienste den Fehler auslösen:
- Vergleiche den Live-Test mit der zuvor gecrawlten Seite in der Search Console.
- Untersuche die „Transform Rules“, Antwortheader und Worker-Settings von Cloudflare auf Änderungen.
- Verwende
curlmit dem „Googlebot“-User-Agent und aktiviere den Cache-Bypass, um zu analysieren, wie der Server antwortet. - Wenn Du WordPress verwendest, schalte SEO-Plugins vorübergehend aus, um auszuschließen, dass sie dynamische Header hinzufügen.
- Logge Googlebot-Anfragen auf deinem Server, um zu prüfen, ob der X-Robots-Tag irgendwo erscheint.
- Falls keine Lösung gefunden wird, umgehe Cloudflare, indem Du deine DNS-Einträge so änderst, dass der Server direkt angesprochen wird, und teste erneut.
Der betroffene Nutzer testete verschiedene Ansätze, konnte jedoch keine Hinweise auf den Fehler finden.
Verwendung der Googlebot-Diagnosetools
Wenn Du überprüfen willst, was genau Googlebot sieht, kannst Du das Tool Rich Results Tester nutzen. Dieses Tool verwendet den Googlebot-User-Agent und eine Google-IP-Adresse. Es gibt Dir einen genauen Einblick in die Seite, die Google crawlt und indexiert.
„Dieses Tool greift als Googlebot auf die Seite zu (ohne Anmeldeinformationen, sondern wie Google).“
401 Fehler und andere interessante Beobachtungen
Ein weiterer Nutzer berichtete von einem 401-Fehler (Unauthorized), der dazu führte, dass Seiten nicht indexiert wurden. In diesem Fall war es notwendig, Login-Seiten in der robots.txt zu blockieren, um weitere Fehler zu vermeiden.
John Muellers Kommentar
John Mueller äußerte sich zu der Diskussion und sagte, dass er solche Fälle oft bei Content Delivery Networks (CDNs) wie Cloudflare gesehen hat. Er merkte auch an, dass fehlerhafte Meldungen manchmal bei sehr alten URLs auftauchen können, die möglicherweise früher blockiert waren.
„Ich habe das bei CDNs gesehen und auch bei sehr alten Crawls, wenn das Problem damals schon bestand und viele alte URLs indexiert sind. Vielleicht gibt es hier etwas Neues.“
Wichtige Erkenntnisse und Tipps
- Google Search Console kann Noindex-Fehler anzeigen, auch wenn der Header oder Tag nicht vorhanden ist.
- CDNs wie Cloudflare können Indexierungsprobleme verursachen. Es lohnt sich, deren Header und Regeln zu prüfen.
- Das Tool „Rich Results Tester“ kann helfen, zu sehen, ob Googlebot Besonderheiten wahrnimmt.
- 401-Fehler (Unauthorized) können ebenfalls zu Blockaden führen, zum Beispiel bei Login-Seiten.
- John Mueller schlug vor, CDNs und alte Crawling-Daten als mögliche Fehlsignal-Quellen zu überprüfen.
