Google: что делать при массовой ошибке «Обнаружена, не проиндексирована»
Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, почему может возникать массовая ошибка «Обнаружена, не проиндексирована» для URL в Search Console, и какие действия следует предпринять в такой ситуации.
В Справке Search Console приводятся следующие причины появления этой ошибки:
«Страница была найдена Google, но пока не просканирована. Обычно это объясняется тем, что робот Google не смог просканировать сайт, поскольку тот оказался перегружен, и был вынужден перенести сканирование на более поздний срок. Именно поэтому в отчёте не указывается дата последнего сканирования».
При этом Джон Мюллер назвал другие причины. По его словам, массовое появление такой ошибки может быть связано с непреднамеренным генерированием слишком большого количества URL, проблемами в работе внутренней перелинковки или же с необходимостью сократить общее количество страниц.
Вопрос к Мюллеру звучал так:
«В Search Console 99% наших страниц исключены с указанием статуса «Обнаружена, не проиндексирована». Это происходит уже несколько лет, несмотря на наличие ссылок из авторитетных изданий и сайтов. Что может вызывать эту ситуацию, и что мы можем сделать, чтобы эти страницы индексировались? Может ли быть проблемой то, что Google неспособен индексировать большое количество страниц?».
Мюллер порекомендовал вебмастеру выполнить следующие шаги:
Проверить, действительно ли этот статус выводится для 99% страниц. Проверить технические моменты – не генерируется ли непреднамеренно большое количество URL, в которых Google может попросту потеряться. В частности, не создаются ли однотипные URL с небольшим количество отличий. Использование параметров, верхнего/нижнего регистра и подобных вещей может привести к созданию дублированных URL.
Проанализировать внутреннюю ссылочную структуру. Может ли Google проходить по всем этим ссылкам? Для этого можно использовать инструменты сканирования, такие как Screaming Frog или DeepCrawl. Если с внутренней перелинковкой всё в порядке, то можно переходить к следующему пункту.
Повысить качество страниц. Например, если на сайте содержится 20 млн страниц и 99% из них не индексируются, то, возможно, имеет смысл сократить их количество – скажем, наполовину или даже до 10% от исходного количества. Тогда Google сможет сканировать и индексировать сайт в большем объёме и чаще. Сократив общее число страниц и объединив материалы по одной теме, можно будет повысить качество контента.
