Google добавил в Search Console новый отчет robots.txt, содержащий всю информацию об индексации страниц на сайте.
В частности, из отчета можно узнать, какие файлы robots.txt Google нашел для 20 лучших хостов на сайте, дату последнего сканирования документа, а также предупреждения об обнаруженных ошибках
