W zeszłym roku Google udostępniło swój parser i dopasowujący plik robots.txt w świecie open source. Od tego czasu ludzie używali go do tworzenia nowych narzędzi, współtworzenia bibliotek open source i wydawania nowych wersji językowych (takich jak golang i rust).
Gdy sezon stażowy Google dobiega końca, firma chce wyróżnić dwie nowe wersje związane z plikiem robots.txt przez dwóch stażystów pracujących w zespole wyszukiwania open source: [Andreea Dutulescu](https://www.linkedin.com/at/andreea -nicoleta-dutulescu){rel="nofollow"} i Ian Dolzhanskii.
Najpierw udostępniają framework testowy dla programistów parsera pliku robots.txt stworzonego przez Andreeę. Projekt zapewnia narzędzie testowe do weryfikacji, czy parsery pliku robots.txt przestrzegają protokołu wykluczania robotów lub w jakim stopniu. Obecnie nie ma oficjalnego i dokładnego sposobu oceny poprawności parsera, więc Andreea zbudowała narzędzie, które może być użyte do stworzenia parsera zgodnego z protokołem.
Google udostępnił port Java swojego popularnego parsera robots.txt w języku C++. Parser jest tłumaczeniem jeden do jednego parsera C++ pod względem funkcjonalności i zachowania, i został gruntownie przetestowany pod kątem zgodności z dużą liczbą reguł zawartych w pliku robots.txt. Zespół planuje wykorzystać parser Java robots.txt w systemie produkcyjnym Google, a firma z zadowoleniem przyjmuje Twój wkład w te projekty.
Byliśmy bardzo szczęśliwi mogąc gościć Andreeę i Iana i żałujemy, że ich staż dobiega końca. Ich wkład pomaga uczynić Internet lepszym miejscem i mamy nadzieję, że w przyszłości będziemy mogli powitać ich z powrotem w Google.