Что нового
SEO форум вебмастеров - маркетинг, продвижение и оптимизация сайтов

This is a sample guest message. Register a free account today to become a member! Once signed in, you'll be able to participate on this site by adding your own topics and posts, as well as connect with other members through your own private inbox!

Файл robots.txt

Здравствуйте ребята. Когда начал тестировать сайт на хостинге, то добавил файл robots.txt, чтобы запретить индексацию, но почему сайт всё равно проиндексировался. Из-за чего может быть? До этого момента сайт не был добавлен в Search Console (Google) и Яндекс.Вебмастер.
User-agent: *
Disallow: /
 

raz0r

Руководство!
Здравствуйте ребята. Когда начал тестировать сайт на хостинге, то добавил файл robots.txt, чтобы запретить индексацию, но почему сайт всё равно проиндексировался. Из-за чего может быть? До этого момента сайт не был добавлен в Search Console (Google) и Яндекс.Вебмастер.
User-agent: *
Disallow: /
Должно пройти некоторое время прежде чем выкинутся страницы с поиска.
 
роботс - это просьба и рекомендация для ПС, а не строжайшее правило.
 
Верх