Bing никогда не поддерживал noindex в robots.txt – в отличие от Google. Поэтому отказ от поддержки этой директивы, запланированный Google, никак не отразится на работе Bing.

Об этом заявил сотрудник поиска Фредерик Дубут (Frеdеric Dubut) в Twitter.

Напомним, что с 1 сентября Google перестанет поддерживать директиву noindex в файле robots.txt.

В настоящее время компания работает над тем, чтобы перевести Robots Exclusion Protocol, использующий файл robots.txt, в разряд официальных интернет-стандартов. В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

Похожие статьи:

• Google открыл исходный код своего парсера для robots.txt