Crawl-Rate mit
http-Statuscodes beeinflussen

In der Vergangenheit nutzen einige Publisher verschiedene 404-Fehler zur Optimierung der Crawl-Rate. Google warnt nun allerdings ganz klar davor. Denn es gibt bestimmte Richtlinien, die erklären, wie diese Rate reduziert werden kann. 4xx-Fehler sind allerdings nicht das passende Mittel zum Zweck, wenn es nach Google geht. Das ist verständlich, denn sie weisen immer darauf hin, dass ein Fehler seitens der Publisher besteht. Sie veranschaulichen, dass eine Client-Anfrage an den Server fehlerhaft war.

Deswegen lässt sich ein 403- oder ein 404-Fehler nicht mit einem 429-Fehler gleichsetzen. Denn dieser signalisiert Google, dass zu viele Anfragen gestartet wurden und der Googlebot langsamer arbeiten muss. Andernfalls könnte es zu einer Überlastung des Servers kommen. Er macht also darauf aufmerksam, dass der Server überlastet ist.

Die Wahl der passenden Fehlermeldung ist entscheidend für die Crawl-Raten-Optimierung. Ein Beispiel: Ein Geschäftspartner hat eine Verlinkung auf seiner Website zu Deinem Blog gesetzt. Bedauerlicherweise werden dabei zahlreiche 404 Fehler generiert, weil Dein Geschäftspartner auf eine falsche URL verlinkt hat. Würde das nun auslösen, dass wegen dieser Fehler der Googlebot langsamer crawlt, wäre das außerordentlich unerfreulich. Dasselbe Szenario gilt für die Fehlercodes 403,410 sowie 418.

Diese Fehlercodes vermitteln eine Statusveränderung an Google und führen dazu, dass Deine Inhalte aus der Google-Suche entfernt werden können. Viel besser ist es, wenn Du stattdessen die Search Console einsetzt. Auch mit ihr hast Du die Chance, die Crawl-Rate zu reduzieren. Dafür kannst Du einfach einen 500, 503 oder einen 429 http-Statuscode senden, um das Crawlen zu verlangsamen.