<meta name="robots"> значение атрибута HTML

Значение robots атрибута name элемента <meta> (часто называемого «тегом robots») определяет поведение при сканировании и индексировании, которое веб-краулеры должны применять к странице. Если это значение задано, инструкции для краулеров указываются в атрибуте content элемента <meta> в виде разделённого запятыми списка из одного или нескольких правил.

Например, чтобы сообщить краулерам, что страницу следует исключить из поисковых индексов, можно использовать значение noindex:

<meta name="robots" content="noindex" />

Примечания по использованию

Элемент <meta name="robots"> может иметь следующие дополнительные атрибуты:

content

Атрибут content должен быть задан, а его значение определяет поведение при индексировании и сканировании для поисковых роботов, которые готовы следовать этим правилам. Принимает одно или несколько следующих ключевых слов в виде разделённого запятыми списка:

index

Разрешает роботу индексировать страницу. Это поведение используется по умолчанию. Поддерживается всеми основными краулерами.

noindex

Просит робота не индексировать страницу. Поддерживается всеми основными краулерами.

follow

Разрешает роботу переходить по ссылкам на странице. Это поведение используется по умолчанию. Поддерживается всеми основными краулерами.

nofollow

Просит робота не переходить по ссылкам на странице. Поддерживается всеми основными краулерами.

all

Эквивалентно index, follow. Используется: Google.

none

Эквивалентно noindex, nofollow. Используется: Google.

noarchive

Просит поисковую систему не кэшировать содержимое страницы. Используется: Google, Yahoo, Bing.

nosnippet

Запрещает отображать описание страницы в результатах поисковой системы. Используется: Google, Bing.

noimageindex

Просит не указывать эту страницу в качестве страницы-источника для индексированного изображения. Используется: Google.

nocache

Синоним noarchive. Используется: Bing.

Описание

При задании значения meta robots важно учитывать следующее:

• Эти правила соблюдают только роботы, которые готовы им следовать. Они не помешают злоумышленникам, например сборщикам адресов электронной почты, игнорировать директивы.
• Если правило задано в теге <meta>, роботам всё равно нужно получить доступ к странице, чтобы прочитать его. Чтобы сократить расход пропускной способности, рассмотрите возможность использовать вместо этого файл robots.txt.
• Тег <meta name="robots"> и robots.txt выполняют разные функции: robots.txt управляет сканированием, а метатег robots влияет на индексирование и другие действия.
• Страница, заблокированная с помощью robots.txt, всё ещё может быть проиндексирована, если на неё ссылаются другие источники.
• Директива noindex вступит в силу только после того, как робот повторно посетит страницу, поэтому убедитесь, что robots.txt не препятствует этому.
• Некоторые значения, например index и noindex или follow и nofollow, взаимоисключающие. Поведение при использовании конфликтующих значений не определено.
• Такие роботы, как Google, Yahoo и Bing, также поддерживают эти директивы в HTTP-заголовке X-Robots-Tag, что удобно для содержимого не в формате HTML, например PDF-файлов или изображений.

Примеры

Использование ключевого слова robots

В следующем примере используется nofollow, чтобы попросить краулер не переходить по ссылкам на странице, и noindex, чтобы попросить исключить страницу из индекса:

<meta name="robots" content="nofollow, noindex" />

Спецификации

Хотя этот метод не входит ни в одну спецификацию, он фактически стал стандартным способом взаимодействия с поисковыми ботами, веб-краулерами и аналогичными пользовательскими агентами.

Совместимость с браузерами

Эта функция предназначена для краулеров, поэтому понятие совместимости с «браузерами» к ней неприменимо.

См. также

• HTTP-заголовок X-Robots-Tag
• руководство по настройке robots.txt
• статья глоссария о robots.txt
• статья глоссария о поисковых системах
• RFC 9309: протокол исключения роботов
• страница MetaExtensions в вики WHATWG
• Использование метатега robots на developers.google.com