Google может индексировать заблокированные страницы, не сканируя их
|
О возможностях индексации Google рассказал представитель компании, Джон Мюллер. 02 April, 11:02
 1059
0
Google может индексировать URL, заблокированные в robots txt, не проводя сканирование. |
|
Пользователь Google задал вопрос, касающийся отображения заголовков и описаний страниц по сайту, полностью заблокированному в robots.txt. Джон Мюллер сообщил, что индексация адресов возможна без сканирования даже при блокировке в robots.txt. На вопрос, почему при этом отображаются заголовки и ссылки, Мюллер также дал пояснение. Дело в том, что заголовки, как правило, берутся из ссылок, но сниппетов в этом случае быть не должно. Свой комментарий дал и Барри Адамс, консультант по поисковому маркетингу Google. Он отмечает, что robots.txt предназначен для управления сканированием, а не индексированием. Чтобы предотвратить индексацию, необходимо использование соответствующей директивы в robots или HTTP-заголовках X-Robots-Tag. Но чтобы дать боту увидеть данные директивы, ему нужно позволить сканировать страницы. |
Ключевые теги
Подписаться на новые статьи
Свежие записи
-
09 November
-
09 October
-
30 August