Google опубликовал руководство по управлению краулинговым бюджетом

В Справке Google появилось расширенное руководство по управлению лимитом на сканирование для владельцев крупных сайтов.

Это руководство предназначено для владельцев очень больших сайтов (более 1 млн уникальных страниц) с достаточно часто (раз в неделю) меняющимся контентом, а также средних или больших сайтов (более 10 тыс. уникальных страниц) с очень часто (ежедневно) меняющимся контентом.

Лимит на сканирование сайта зависит от двух основных факторов: скорости сканирования и потребности в сканировании.

Увеличить лимит на сканирование можно только двумя способами: выделив дополнительные ресурсы сервера для сканирования или (что гораздо важнее) повысив ценность контента, размещенного на сайте, для пользователей Google Поиска.

Рекомендации для повышения эффективности сканирования:

  • Закрывать от сканирования дублирующиеся URL, чтобы робот это время потратил на обнаружение более ценных страниц.
  • Удалить страницы с идентичным контентом.
  • Заблокировать сканирование URL, которые не нужно индексировать с помощью файла robots.txt или инструмента "Параметры URL".
  • Не использовать тег noindex. А также не использовать файл robots.txt, чтобы временно увеличить лимит на сканирование для других страниц. Лимит на сканирование не будет перераспределен в пользу других страниц, пока он не будет исчерпан.
  • Возвращать код ошибки 404 или 410 для окончательно удаленных страниц.
  • Устранить ложные ошибки 404.
  • Вовремя обновлять файлы Sitemap.
  • Избегать длинных цепочек переадресации. Они создают проблемы при сканировании.
  • Оптимизировать страницы для ускорения их загрузки.
  • Проверять, как сканируется сайт.

Более подробная информация в полной версии руководства

Это руководство не нужно читать, если у владельца сайта нет большого количества часто обновляемых страниц или если страницы сканируются в течение суток после публикации. Достаточно вовремя обновлять файлы Sitemap и проверять отчет об индексировании.

Если на сайте есть контент, который не индексировался в течение продолжительного времени, чтобы выяснить причины, воспользуйтесь инструментом проверки URL.

По материалам: www.seonews.ru