Der Googlebot
crawlt bald HTTP/2
Den Original-Artikel von Google Search Central findest Du als Quelle mit folgendem Link: https://developers.google.com/search/blog/2020/09/googlebot-will-soon-speak-http2?hl=de
Offizielle Google News vom 17.09.2020
Ab November 2020 wird der Googlebot beginnen, einige Websites über HTTP/2 zu crawlen. Seitdem Browser die nächste große Revision von HTTP, HTTP/2 oder kurz h2, unterstützen, haben Web-Profis gefragt, ob der Googlebot über die aktualisierte, modernere Version des Protokolls crawlen kann. Nun gab Google bekannt, dass Googlebot ab Mitte November 2020 das Crawling über HTTP/2 für ausgewählte Websites unterstützen wird.
Was ist HTTP/2?
Es ist die nächste Hauptversion von HTTP, das Protokoll, welches das Internet hauptsächlich für die Übertragung von Daten verwendet. HTTP/2 ist aufgrund seiner Architektur und der Funktionen, die es für Clients (z. B. Deinen Browser) und Server implementiert, viel robuster, effizienter und schneller als sein Vorgänger.
Warum Google diese Änderung vornimmt
Im Allgemeinen erwartet Google, dass diese Änderung das Crawling in Bezug auf die Nutzung der Serverressourcen effizienter macht. Mit h2 ist der Googlebot in der Lage, eine einzige TCP-Verbindung zum Server zu öffnen und effizient mehrere Dateien parallel darüber zu übertragen, anstatt mehrere Verbindungen zu benötigen. Je weniger Verbindungen geöffnet sind, desto weniger Ressourcen müssen der Server und der Googlebot für das Crawling aufwenden.
So funktioniert es:
In der ersten Phase wird eine kleine Anzahl von Websites über h2 gecrawlt, und es werden nach und nach mehr Websites hinzukommen, die von den anfänglich unterstützten Funktionen wie Request Multiplexing profitieren können.
Der Googlebot entscheidet, welche Website über h2 gecrawlt wird, basierend darauf, ob die Website h2 unterstützt und ob die Website und der Googlebot vom Crawling über HTTP/2 profitieren würden. Wenn Dein Server h2 unterstützt und der Googlebot bereits viel von Deiner Seite crawlt, bist Du möglicherweise bereits für das Verbindungs-Upgrade qualifiziert und musst nichts tun.
Wenn Dein Server weiterhin nur HTTP/1.1 berücksichtigt, ist das auch in Ordnung. Es gibt keinen expliziten Nachteil für das Crawlen über dieses Protokoll; das Crawlen bleibt in Qualität und Quantität gleich.
Wie man sich abmeldet
Die vorläufigen Tests von Google zeigten keine Probleme oder negative Auswirkungen auf die Indexierung. Du kannst dies tun, indem Du dem Server die Anweisung gibst, mit einem 421 HTTP-Statuscode zu antworten, wenn der Googlebot versucht, Deine Seite über h2 zu crawlen. Wenn das im Moment nicht machbar ist, kannst Du eine Nachricht an das Googlebot-Team schicken (diese Lösung ist allerdings nur vorübergehend).
FAQ
Die Software, die Google verwendet, damit der Googlebot über h2 crawlen kann, ist so ausgereift, dass sie in der Produktion eingesetzt werden kann.
Das hängt wirklich von Dir ab. Google wird jedoch nur Websites auf Crawling über h2 umstellen, die dies unterstützen und eindeutig davon profitieren. Wenn es keinen klaren Vorteil für das Crawlen über h2 gibt, wird der Googlebot weiterhin über h1 crawlen.
Cloudflare hat einen Blog-Beitrag mit einer Fülle von verschiedenen Methoden, um zu testen, ob eine Website h2 unterstützt, schau Dir diesen gerne an!
Das hängt von Deinem Server ab. Google empfiehlt, mit Deinem Server-Administrator oder dem Hosting-Provider zu sprechen.
Das kannst Du nicht. Wenn die Website h2 unterstützt, kann sie über h2 gecrawlt werden, aber nur, wenn dies für die Website und den Googlebot von Vorteil wäre. Wenn das Crawlen über h2 zum Beispiel nicht zu einer spürbaren Ressourceneinsparung führen würde, würde Google die Website einfach weiterhin über HTTP/1.1 crawlen.
Das Crawlen über h2 bringt für bestimmte Websites (z. B. solche mit sehr wenigen Aufrufen) wenig bis gar keinen Nutzen. Daher hat Google beschlossen, das Crawling nur dann auf h2 umzustellen, wenn es einen klaren Vorteil für die Seite gibt. Google wird die Performance-Gewinne weiterhin evaluieren und kann die Kriterien für die Umstellung in Zukunft ändern.
Wenn eine Website für das Crawling über h2 in Frage kommt, erhalten die in der Search Console registrierten Eigentümer der Website eine Meldung, dass ein Teil des Crawling-Traffics in Zukunft über h2 erfolgen kann. Du kannst auch in Deinen Serverprotokollen nachsehen (z. B. in der Datei access.log).
Der Googlebot unterstützt die meisten der von h2 eingeführten Funktionen. Einige Funktionen wie der Server-Push, die für das Rendering von Vorteil sein können, werden noch evaluiert.
Nein. Deine Website muss HTTPS verwenden und HTTP/2 unterstützen, um für das Crawling über HTTP/2 in Frage zu kommen. Dies entspricht dem, wie moderne Browser es handhaben.
Application-Layer-Protocol-Negotiation (ALPN) wird nur für Websites verwendet, die sich für das Crawling über h2 entschieden haben, und das einzige akzeptierte Protokoll für Antworten wird h2 sein. Wenn der Server während des TLS-Handshakes mit einer anderen Protokollversion als h2 antwortet, wird sich der Googlebot zurückziehen und später mit HTTP/1.1 einen neuen Versuch starten.
Einige der vielen, aber wichtigsten Vorteile von h2 sind:
- Multiplexing und Simultanität: Weniger offene TCP-Verbindungen bedeuten weniger verbrauchte Ressourcen.
- Header-Kompression: Drastisch reduzierte HTTP-Header-Größen sparen Ressourcen.
- Server-Push: Diese Funktion ist noch nicht aktiviert; sie befindet sich noch in der Evaluierungsphase. Sie könnte für das Rendering von Vorteil sein, aber Google kann zu diesem Zeitpunkt noch nichts Konkretes dazu sagen.
Der Hauptvorteil von h2 ist die Einsparung von Ressourcen, sowohl auf der Serverseite als auch seitens des Googlebots. Ob Google mit h1 oder h2 crawlt, hat keinen Einfluss darauf, wie Deine Website indiziert wird, und somit auch nicht darauf, wie viel Google von Deiner Website crawlen will.
Bring Dein Online-Marketing 2024 ein Level weiter!
90 Minuten gratis Beratung
SEO
Optimierung
Nachhaltig mehr Reichweite und Sichtbarkeit in Deiner Zielgruppe erreichen!
Content
Marketing
Direkt, optimiert und zielgerichtet Inhalte Deiner Zielgruppe präsentieren!
Marketing
Automation
Erstklassige Benutzererlebnisse für höhere Kundenbindung und Conversion!
