Neuigkeiten zum Google-Crawling-Budget

Wenn derGooglebot Deine Website besucht, lädt er zuerst den HTML-Code der Hauptadresse herunter – etwa www.deineseite.de/startseite. Das ist das Grundgerüst Deiner Seite, das Verweise auf weitere Ressourcen wie JavaScript, CSS oder Bilder enthält.

Diese Daten übergibt der Googlebot an den Web Rendering Service (WRS), der die Seite so zusammenbaut, wie es ein Browser für Deine Nutzer tun würde. Fehlen dafür wichtige Ressourcen wie ein JavaScript für ein Kontaktformular oder ein CSS für das Design, lädt der WRS diese nach, bis die Seite vollständig dargestellt werden kann.

Im Gegensatz zu einem Browser, der das in Sekunden erledigt, nimmt sich Googlebot Zeit, um Deinen Server nicht zu überlasten. Dabei wird das sogenannte Crawl-Budget beansprucht: Jede Ressource, die Google laden muss, verbraucht davon etwas.

Das Crawl-Budget beschreibt, wie viele Ressourcen Google für das Besuchen Deiner Website einsetzt. Besonders beim Rendern der Seite wird dieses Budget belastet, da jede heruntergeladene Datei – ob HTML, JavaScript, CSS oder Medien – darauf angerechnet wird.

Google hat allerdings einen Trick, um das Budget zu schonen: Der Web Rendering Service (WRS) speichert Ressourcen wie JavaScript und CSS bis zu 30 Tage lang in einem internen Cache. Dieser Cache funktioniert unabhängig von den HTTP-Caching-Direktiven Deiner Website und hilft, dass Google nicht jedes Mal dieselben Dateien neu herunterladen muss.

Denn je optimierter Deine Website ist, desto besser kann Google sie lesen – und desto einfacher ist es für Dich, eine gute Platzierung in den Suchergebnissen zu erreichen.

Du kannst aktiv dazu beitragen, dass Google Dein Crawl-Budget effizient nutzt und Deine Seite optimal erfasst. Hier die wichtigsten Tipps:

• Reduziere die Anzahl der benötigten Ressourcen
  Je weniger Dateien wie JavaScript oder CSS für das Rendern Deiner Seite erforderlich sind, desto besser. Eine optimierte Website spart Crawl-Budget und sorgt dafür, dass Google schneller mit dem Crawling fertig ist.
• Nutze Cache-Busting mit Bedacht
  Wenn sich URLs von Ressourcen (z. B. CSS oder JavaScript) häufig ändern, muss Google diese immer wieder neu laden – auch wenn der Inhalt sich nicht verändert. Das kann unnötig viel Crawl-Budget kosten. Verwende Cache-Busting daher nur, wenn es wirklich nötig ist.
• Große Dateien extern hosten – aber überlegt
  Für Videos, Downloads oder andere nicht kritische Ressourcen eignen sich externe Hosts oder ein Content Delivery Network (CDN. Das entlastet das Crawl-Budget des Hauptservers. Kritische Dateien wie JavaScript oder CSS solltest Du aber lieber lokal belassen, damit die Ladezeit Deiner Seite nicht darunter leidet.
• Blockiere keine wichtigen Ressourcen
  Ein häufiger Fehler: Das Sperren von CSS oder JavaScript in der robots.txt-Datei. Wenn der WRS diese Ressourcen nicht abrufen kann, wird Deine Seite möglicherweise nicht korrekt dargestellt – und das kann Deine Platzierung in den Suchergebnissen beeinträchtigen.

Wenn Du herausfinden möchtest, welche Ressourcen Google von Deiner Website erfasst hat, gibt es zwei effektive Methoden:

Zum einen kannst Du die Zugriffsprotokolle Deines Servers analysieren. Diese Logs zeigen detailliert, welche URLs von Googlebot aufgerufen wurden. Hier siehst Du nicht nur die Hauptseiten, sondern auch die angeforderten Dateien wie CSS, JavaScript oder Bilder. Mit diesen Informationen kannst Du erkennen, ob Google auf alle wichtigen Ressourcen zugreift oder ob es Probleme gibt, bestimmte Dateien zu crawlen.

Zum anderen bietet die Google Search Console wertvolle Einblicke. Im Bericht zu den Crawl-Statistiken findest Du eine Aufschlüsselung darüber, welche Arten von Dateien Google besucht hat und wie oft dies passiert ist. Dieser Bericht ist hilfreich, da er Dir eine klare Übersicht gibt, ohne dass Du direkt auf die Server-Logs zugreifen musst.

Beide Werkzeuge helfen Dir, das Crawling zu überwachen und mögliche Hürden zu erkennen, die Google daran hindern könnten, Deine Website vollständig zu erfassen.