Bing никогда не поддерживал noindex в robots.txt – в отличие от Google. Поэтому отказ от поддержки этой директивы, запланированный Google, никак не отразится на работе Bing.
Об этом заявил сотрудник поиска Фредерик Дубут (Frеdеric Dubut) в Twitter.
Напомним, что с 1 сентября Google перестанет поддерживать директиву noindex в файле robots.txt.
В рамках инициативы по переводу Robots Exсlusion Protocol (REP) в разряд официальных стандартов Google открыл исходный код своего парсера для robots.txt.
В частности, речь идёт о C++ библиотеке, которую системы Google используют для парсинга и сопоставления правил в файлах robots.txt.
Эта библиотека существует уже около 20 лет и содержит фрагменты кода, которые были написаны ещё в 90-х. С тех пор библиотека претерпела изменения: Google узнал больше о том, как вебмастера заполняют файлы robots.txt, и о краевых случаях, которые тоже нужно охватить.
