Von einem technischen Standpunkt bzw. dem der Suchmaschine aus gesehen, ist es durchaus zulässig, wenn diese beiden URL-Versionen unterschiedlichen Content aufweisen. Eure Nutzer finden diese Konfiguration jedoch womöglich schrecklich verwirrend. Wie würdet ihr es finden, wenn www.google.com/webmasters und www.google.com/webmasters/ zu unterschiedlichem Content führen würden?

Aus diesem Grund führen URLs mit und ohne abschließenden Schrägstrich häufig zu demselben Content. Der häufigste Fall ist, dass eine Website mit einer Verzeichnisstruktur konfiguriert ist:
http://example.com/übergeordnetes-verzeichnis/untergeordnetes-verzeichnis/.

Ihr könnt für eure Website problemlos prüfen, ob die URLs:

1. http://<eure-domain>/<irgendein-verzeichnis>/
(mit abschließendem Schrägstrich) und
2. http://<eure-domain>/<irgendein-verzeichnis>
(ohne abschließenden Schrägstrich)

nicht beide den Statuscode 200 zurückgeben, sondern ob eine Version an die andere weiterleitet.

• Falls nur eine Version zurückgegeben werden kann (d. h., falls die andere zu ihr weiterleitet), prima! Dieses Verhalten ist vorteilhaft, weil so weniger Duplicate Content entsteht. Bei Weiterleitungen zu URLs mit abschließendem Schrägstrich wird in unseren Suchergebnissen unabhängig davon, ob es sich um eine 301- oder 302-Weiterleitung handelt, wahrscheinlich die Version der URL mit dem Statuscode 200 angezeigt. Meistens ist dies die URL mit abschließendem Schrägstrich.

• Sollten die Version mit und die ohne abschließenden Schrägstrich denselben Content aufweisen und beide den Statuscode 200 zurückgeben, habt ihr folgende Möglichkeiten:

1. Ihr ändert dieses Verhalten (siehe unten), um Duplicate Content zu vermeiden und die Effektivität des Crawlings zu verbessern.
2. Ihr lasst es einfach so. Duplicate Content findet sich auf vielen Websites. Unser Indexierungsprozess handhabt die URLs für Webmaster und Nutzer häufig entsprechend. Es ist zwar keine optimale Situation, aber absolut legitim und ok.
3. Ihr verlasst euch darauf, dass, insbesondere, wenn es um die URL des Stammverzeichnisses eurer Website geht, http://example.com und http://example.com/ identisch sind und auch dann keine Weiterleitung erfolgen kann, wenn ihr Chuck Norris heißt.

Sicherstellen, dass nur eine URL-Version angezeigt wird

Was also tun, falls eure Website für diese beiden URLs duplizierten Content anzeigt:

http://<eure-domain>/<irgendein-verzeichnis>/
http://<eure-domain>/<irgendein-verzeichnis>

also beide URLs den Statuscode 200 zurückgeben, d. h. keine der beiden Versionen eine Weiterleitung oder rel=”canonical” enthält, und ihr das ändern möchtet?

1. Wählt eine URL als bevorzugte Version. Sollte eure Website eine Verzeichnisstruktur aufweisen, ist es üblicher, einen abschließenden Schrägstrich in euren Verzeichnis-URLs zu verwenden, also beispielsweise example.com/verzeichnis/ statt example.com/verzeichnis. Es steht euch jedoch frei, euch anders zu entscheiden.

2. Seid konsequent im Umgang mit der bevorzugten Version. Verwendet sie in euren internen Links. Falls ihr eine XML-Sitemap habt, verwendet für diese die bevorzugte Version und nicht ihr Gegenstück.

3. Verwendet eine 301-Weiterleitung von der duplizierten zu der bevorzugten Version. Sollte dies nicht möglich sein, ist rel=”canonical” eine gute Lösung. rel=”canonical” funktioniert für die Indexierungszwecke von Google und anderen gängigen Suchmaschinen ähnlich wie eine 301-Weiterleitung.

4. Testet eure 301-Konfiguration in den Webmaster-Tools mit “Abruf wie beim Googlebot“. Stellt sicher, dass eure URLs:
http://example.com/foo/
http://example.com/foo
sich erwartungsgemäß verhalten. Die bevorzugte Version sollte Statuscode 200 zurückgeben. Die duplizierte URL sollte per 301-Weiterleitung zur bevorzugten URL führen.

5. Führt in den Webmaster-Tools eine Überprüfung auf Crawling-Fehler durch und prüft zur Sicherheit nach Möglichkeit auch in euren Webserver-Protokollen, ob die 301-Weiterleitungen implementiert wurden.

6. Profitiert davon! Nein, Spaß beiseite, ihr könnt euch jetzt beruhigt zurücklehnen in der Gewissheit, dass eure Serverkonfiguration effizient und eure Website optimiert ist.

To slash or not to slash (English version)

Post von Maile Ohye, Developer Programs Tech Lead (Veröffentlichung der deutschen Fassung von Jörg Pacher, Search Quality)