Google рассказал, как 500 ошибка влияет на индексацию страниц сайта
Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта.
В ответ на вопрос одного из вебмастеров, Мюллер перечислил ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google.
Вебмастер рассказал, что CMS на его сайте была настроена таким образом, чтобы блокировать «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели. А еще через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на обход Googlebot. Вебмастер спросил у Мюллера, насколько это критично и не грозит ли страницам последующим выпадением из индекса.
На это Джон Мюллер ответил, что никаких никаких строгих пороговых значений по этому вопросу у Google нет. Проверка страниц, отдающих 500 ошибку, повторяется неоднократно. В том случае, если это продолжается довольно долго, индексация замедляется и проводится реже. Если и далее демонстрируется код 500, то такие URL-адреса удаляются из индекса.
«Так что если время от времени на отдельных страницах появляется 500 ошибка, это не имеет большого значения. Мы повторим проверку таких страниц, они останутся проиндексированными, и после следующей проверки все будет в порядке».
Мюллер также пояснил, что одна из причин, почему Google замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. При этом у поисковика нет жестких пороговых значений, при которых Google решает, что сделано много запросов, получено много ошибок, а значит, пора удалять такую страницу из индекса.
