До 1 сентября осталось всего ничего, и Google напоминает вебмастерам, что те, кто продолжает использование директивы noindex в robots.txt, могут оказаться в неприятной ситуации.
Google прекращает поддерживать директиву noindex в файле robots.txt с 1 сентября. Об этом было объявлено еще в начале июля и даже разосланы письменные уведомления через Search Console.
В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:
- Noindex в метатегах robots;
- Коды ответа сервера 404 и 410;
- Disalow в robots.txt;
- Инструмент удаления URL в Search Console;
- Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.
Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.
В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.