Google напомнил о скором прекращении поддержки noindex в robots.txt

До 1 сентября осталось всего ничего, и Google напоминает вебмастерам, что те, кто продолжает использование директивы noindex в robots.txt, могут оказаться в неприятной ситуации. 

Google прекращает поддерживать директиву noindex в файле robots.txt с 1 сентября. Об этом было объявлено еще в начале июля и даже разосланы письменные уведомления через Search Console.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

  • Noindex в метатегах robots;
  • Коды ответа сервера 404 и 410;
  • Disalow в robots.txt;
  • Инструмент удаления URL в Search Console;
  • Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

По материалам: www.searchengines.ru