Файл robots.txt

[akmaltilloev]

Здравствуйте ребята. Когда начал тестировать сайт на хостинге, то добавил файл robots.txt, чтобы запретить индексацию, но почему сайт всё равно проиндексировался. Из-за чего может быть? До этого момента сайт не был добавлен в Search Console (Google) и Яндекс.Вебмастер.

Спойлер: Содержание

User-agent: *
Disallow: /

 

[raz0r]

Здравствуйте ребята. Когда начал тестировать сайт на хостинге, то добавил файл robots.txt, чтобы запретить индексацию, но почему сайт всё равно проиндексировался. Из-за чего может быть? До этого момента сайт не был добавлен в Search Console (Google) и Яндекс.Вебмастер.

Спойлер: Содержание

User-agent: *
Disallow: /

Должно пройти некоторое время прежде чем выкинутся страницы с поиска.

 

[akmaltilloev]

Должно пройти некоторое время прежде чем выкинутся страницы с поиска.

Но этот сайт вообще не был добвален в поисковике. Как так случилось?

 

[raz0r]

Но этот сайт вообще не был добвален в поисковике. Как так случилось?

У них свои алгоритмы, где-то засветился. Вариантов масса.

 

[akmaltilloev]

У них свои алгоритмы, где-то засветился. Вариантов масса.

Понятно. Спасибо

 

[mlairy]

роботс - это просьба и рекомендация для ПС, а не строжайшее правило.