Ein SEO-Experte hat eine Site-Audit durchgeführt und festgestellt, dass ein Großteil der indexierten Seiten ungewollte URLs mit Parametern enthielt, wie beispielsweise Seiten für „In den Warenkorb“ oder Paginierte Links. Dabei haben die vorgesehene rel=canonical-Attribute nicht wie erwartet funktioniert, da diese Attribute für Google lediglich als Hinweise und nicht als verpflichtende Anweisungen gesehen werden. Der Experte schlug vor, diese URLs zuerst mit noindex zu versehen und anschließend in der robots.txt Datei zu blockieren.
Spezifische Herausforderungen: „In den Warenkorb“-URLs
Diese URLs generierten dynamische Seiten, oft aufgrund von Navigationen, bei denen Nutzer Inhalte nach Kriterien wie Marke oder Größe sortieren konnten. Ein auffälliges Beispiel solcher URLs war:
example.com/product/page-5/?add-to-cart=example
Diese Seiten wurden durch rel=canonical versehen, um Google wissen zu lassen, welche URLs die korrekten sind. Doch in diesem Fall funktionierte diese Methode nicht wie geplant.
John Müller’s Einsicht
Google-Spezialist John Müller kommentierte das Problem auf LinkedIn mit wichtigen Empfehlungen:
Er riet, Muster in den URLs genauer zu analysieren, anstatt alle betroffenen URLs pauschal zu behandeln. Vor allem für Einkaufswagen-URLs schlug er vor, diese in der robots.txt Datei zu blockieren, sodass diese gar nicht erst von Google gecrawlt werden. Zusätzlich wies er darauf hin, dass es besser sei, spezifische und granulare Lösungen zu implementieren.
Wichtige technische Überlegungen
Wenn es darum geht, welche Seiten von Google indexiert werden sollen, ist es entscheidend zu verstehen, dass nicht jede Methodik eindeutig funktioniert. Rel=canonical ist ein wertvoller Hinweis für die Suchmaschine, aber keine Garantie. Eine noindex-Regel hingegen ist eine klare Anweisung an Google.
Empfehlungen von John Müller
- Prüfe URL-Muster und identifiziere spezifische Gründe, warum manche URLs indexiert werden.
- Blockiere URLs wie „add to cart“ direkt in der robots.txt, sodass sie gar nicht gecrawlt werden.
- Nimm Dokumentationen von Google zu URL-Parametern und Filteroptionen zur Hand.
Warum indexiert Google solche URLs?
Die Diskussion hat den Punkt berührt, dass Google manchmal unerwartete URLs wie „Einkaufswagen-Optionen“ indexiert. Das Problem könnte zum Teil an der E-Commerce-Plattform selbst liegen, welche die URLs generiert. Lösungen beschränken sich hierbei oft auf das oben Beschriebene: Optimierte Einstellungen in der robots.txt oder alternative Regeln zur Steuerung der Indexierung.
Fazit
Du siehst also, dass SEO oft stark auf die individuellen Details einer Website abgestimmt ist. Es gibt keine allgemeine Antwort, sondern nur maßgeschneiderte Herangehensweisen, die für die jeweiligen Bedürfnisse und Strukturen einer Website optimal sind.
