Neue Open-Source
Robots.txt Projekte

2019 hat Google den robots.txt-Parser und den Matcher, den Google selbst als Produktionssystemen verwendet, für die Open-Source-Welt freigegeben. Seitdem haben zahlreiche Entwickler damit neue Tools und die Open-Source-Bibliothek erheblich bereichert, was auch die Produktionssysteme von Google effektiv verbessert hat. Aber auch neue Sprachversionen wie Golang und Rust sind entstanden, auch sie machen es für Entwickler einfacher, neue Tools zu bauen.

Da die Praktikumssaison bei Google zu Ende geht, heben sie zwei neue Veröffentlichungen im Zusammenhang mit robots.txt hervor, die von zwei Praktikanten des Search Open Sourcing-Teams, Andreea Dutulescu und Ian Dolzhanskii, ermöglicht wurden.

Zunächst hat Google ein Test-Framework für Entwickler von robots.txt-Parsern veröffentlicht, welches von Andreea erstellt wurde. Das Projekt stellt ein Testwerkzeug zur Verfügung, mit dem überprüft werden kann, ob bzw. in welchem Umfang ein robots.txt-Parser das Robots Exclusion Protocol befolgt. Derzeit gibt es keine offizielle und gründliche Methode, um die Korrektheit eines Parsers zu beurteilen, daher hat Andreea ein Tool entwickelt, mit dem robots.txt-Parser erstellt werden können, die dem Protokoll folgen.

Zweitens veröffentlichte Google eine offizielle Java-Portierung des C++ robots.txt-Parsers, der von Ian erstellt wurde. Java ist die drittbeliebteste Programmiersprache auf GitHub und wird auch bei Google ausgiebig verwendet. Kein Wunder also, dass es die am häufigsten nachgefragte Sprachportierung ist. Der Parser ist eine 1:1-Übersetzung des C++-Parsers in Bezug auf Funktionen und Verhalten, und er wurde gründlich auf Parität mit einer großen Menge an robots.txt-Regeln getestet. Teams planen bereits, den Java robots.txt-Parser in Google-Produktionssystemen zu verwenden.

Wie immer begrüßt Google Deine Beiträge zu diesen Projekten. Wenn Du etwas mit dem C++ robots.txt-Parser oder mit diesen neuen Versionen gebaut hast, lass es Google wissen, so kann das Team Dir möglicherweise helfen, es zu verbreiten! Wenn Du einen Fehler gefunden hast, kannst Du Google helfen, diesen zu beheben, indem Du ein Problem auf GitHub öffnest.