Seit 25 Jahren ist der Robots.txt der inoffizielle Maßstab der bestimmt, welche Teile Deiner Website vom Suchmaschinen-Crawler durchsucht wird und welche nicht. Nun hat Google Änderungen angekündigt. Wer seine Seite mit SEO bei Google nach oben ranken möchte, der sollte diese Änderungen daher kennen.
Im Juli hatte Google schon angekündigt, dass sich zum 1. September etwas ändern wird. Nun ist es seit einigen Tagen passiert: das Robots-Exklusion-Standard-Protokoll (REP) ist nun für Google ein richtiger Internet-Standard.
Im Gegenzug dazu, sollen die bisher angewandten Regeln abgeschafft werden. Google begründet den Schritt damit, dass die bisherigen Regeln nur extrem selten zur Anwendung gekommen seien. Der Code der Robots.txt ist nun open source.
Info: Du möchtest wissen, warum die Robots.txt für die Seitenoptimierung so wichtig ist? Mehr Informationen zu diesem Thema findest Du hier
Folgende Befehle haben seit dem 1. September keine Gültigkeit mehr:
- Crawl-delay
- Noindex
- Nofollow
Warum hat Google das gemacht?
Google begründet den nun gemachten Schritt damit, dass die bisherigen Regeln in den letzten Jahren keine Relevanz mehr entfaltet hätten. Das Unternehmen gibt an, dass nur 0,001 Prozent aller Robots.txt-Dateien auch genutzt werden.
Für Noindex, Nofollow & Co empfiehlt Google den Webmastern in Zukunft folgende Vorgehensweise:
- Die Noindex-Anweisung kann auch in die Meta Robots-Tags oder in den X-Robots-Tag im http-Header eingebaut werden. Wenn Crawlen erlaubt ist, können so einzelne Unterseiten aus dem Google-Index rausgenommen werden.
- Auch ein Passwortschutz, kann Inhalte aus dem Google-Index heraushalten.
- Mit 404- oder 410-Status-Codes kann dem Crawler vorgegaukelt werden, dass die Unterseiten nicht existieren und so vom Index geschützt sind.
- Per Disallow-Befehl wird dem Crawler ein Stopp-Schild vorgesetzt. Das führt dazu, dass Seiten deutlich weniger in den SERP auftauchen, rät Google.
- Das Tool „Remove URL“ in der Google Search Console lässt Webmaster URLs aus den Google Suchergebnissen entfernen.
Das solltet Ihr beachten:
Auf den ersten Blick klingt 0,001 Prozent nach sehr wenig. Trotzdem solltest Du wissen, dass gerade der Noindex-Befehl von SEO wirklich häufig genutzt wird. Du solltest als SEO-Verantwortlicher im Unternehmen die Änderungen wirklich ins Blickfeld nehmen und die Seiten gründlich überprüfen. Machst Du es nicht, dann besteht die Gefahr, dass Deine Seiten auf den Google Index landen. Das soll ja nicht sein.
Du möchtest mehr über dieses Thema wissen?
Du möchtest Dich mit uns über die Möglichkeiten von SEO-Optimierung in Deinem Unternehmen unterhalten? Gerne, das erste Beratungsgespräch ist völlig unverbindlich und kostenlos.
Über den Autor:
Stefan Rochow arbeitet seit zehn Jahren als freier Journalist und ist hier vor allem als Unternehmensjournalist im Online-Bereich tätig. Als Experte für Content- und Digital-Marketing berät und unterstützt er Unternehmen bei der Entwicklung von Online-Strategien.
Kommentar schreiben