Google: как запретить индексацию тестового сайта

Представитель Google Джон Мюллер в видеовстрече для вебмастеров рассказал, как запретить индексацию тестовой версии сайта. 

Просмотреть полный ответ можно, начиная с отметки 42:40:

Самым распространенным способом блокировки индексации сайта является использование файла robots.txt. Однако это не самый эффективный способ. По словам Джона Мюллера, при обнаружении ссылки на заблокированную веб-страницу Google может просканировать URL:

Важная часть заключается в том, чтобы никто не ссылался на тестовый сайт. Потому что если мы его не найдем, то не сможем и просканировать.

Джон Мюллер считает, что есть более эффективное решение — использовать аутентификацию: 

В идеале вам нужно использовать аутентификацию на стороне сервера, чтобы обычные пользователи при заходе на сайт не могли видеть контент, как и GoogleBot. Вы можете сделать это на основе IP-адреса, с помощью куки или обычной аутентификации на сервере. 

Напомним, ранее Джон Мюллер рассказал, что ни один сервис не сможет подсчитать точное количество ссылок на сайтах. 

По материалам: www.seonews.ru