Заголовок X-Robots-Tag ответа определяет, как краулеры должны индексировать URL-адреса. Хотя он не входит ни в одну спецификацию, фактически это стандартный способ взаимодействия с поисковыми ботами, веб-краулерами и подобными пользовательскими агентами. Краулеры, связанные с поиском, используют правила из заголовка X-Robots-Tag, чтобы изменять способ представления веб-страниц или других ресурсов в результатах поиска.

Правила индексирования задаются в заголовке X-Robots-Tag или HTML-элементе <meta name="robots"> (часто называемом «robots tag») и обнаруживаются при сканировании URL-адреса. Указание правил индексирования в HTTP-заголовке полезно для документов, не являющихся HTML-файлами, например изображений, PDF-файлов или других медиафайлов.

Синтаксис

X-Robots-Tag: <indexing-rule>
X-Robots-Tag: <indexing-rule>, …, <indexing-ruleN>

Необязательный <bot-name>: указывает пользовательского агента, к которому должны применяться следующие правила:

X-Robots-Tag: <indexing-rule>, <bot-name>: <indexing-rule>
X-Robots-Tag: <bot-name>: <indexing-rule>, …, <indexing-ruleN>

Пример см. в разделе Указание пользовательских агентов.

Директивы

Можно использовать любое из следующих правил индексирования:

all

Ограничений на индексирование или показ в результатах поиска нет. Это правило используется по умолчанию и не оказывает никакого эффекта, если указано явно.

noindex

Не показывать эту страницу, медиафайл или ресурс в результатах поиска. Если правило не указано, страница, медиафайл или ресурс могут быть проиндексированы и показаны в результатах поиска.

nofollow

Не переходить по ссылкам на этой странице. Если правило не указано, поисковые системы могут использовать ссылки на странице, чтобы обнаруживать страницы, на которые они ведут.

none

Эквивалентно noindex, nofollow.

nosnippet

Не показывать текстовый фрагмент или видеопревью этой страницы в результатах поиска. Статическая миниатюра (если она доступна) по-прежнему может отображаться. Если правило не указано, поисковые системы могут сформировать текстовый фрагмент и видеопревью на основе информации, найденной на странице. Чтобы исключить отдельные разделы контента из текстовых фрагментов в результатах поиска, используйте HTML-атрибут data-nosnippet.

indexifembedded

Поисковой системе разрешено индексировать содержимое страницы, если оно встроено в другую страницу с помощью iframe или аналогичных HTML-элементов, несмотря на правило noindex. indexifembedded действует только в сочетании с noindex.

max-snippet: <number>

Использовать не более <number> символов в качестве текстового фрагмента для этого результата поиска. Правило игнорируется, если не указано допустимое значение <number>.

max-image-preview: <setting>

Максимальный размер предварительного просмотра изображения для этой страницы в результатах поиска. Если правило не указано, поисковые системы могут показывать изображение предварительного просмотра стандартного размера. Если вы не хотите, чтобы поисковые системы использовали миниатюры большего размера, укажите значение max-image-preview standard или none. Допустимые значения:

none

Не показывать предварительный просмотр изображения.

standard

Можно показывать предварительный просмотр изображения стандартного размера.

large

Можно показывать увеличенный предварительный просмотр изображения шириной до ширины области просмотра.

max-video-preview: <number>

Использовать не более <number> секунд видео в качестве фрагмента для видео на этой странице в результатах поиска. Если правило не указано, поисковые системы могут показывать видеофрагмент в результатах поиска и сами определяют допустимую длительность предварительного просмотра. Правило игнорируется, если не указано допустимое значение <number>. Специальные значения:

0

Можно использовать только статическое изображение в соответствии с настройкой max-image-preview.

-1

Ограничение на длительность видео отсутствует.

notranslate

Не предлагать перевод этой страницы в результатах поиска. Если правило не указано, поисковые системы могут перевести заголовок и текстовый фрагмент результата поиска на язык поискового запроса.

noimageindex

Не индексировать изображения на этой странице. Если правило не указано, изображения на странице могут быть проиндексированы и показаны в результатах поиска.

unavailable_after: <date/time>

Не показывать эту страницу в результатах поиска после указанной даты <date/time>. Правило игнорируется, если не указано допустимое значение <date/time>. Дата должна быть указана в формате, например, RFC 822, RFC 850 или ISO 8601.

По умолчанию срок действия контента не ограничен. Если правило не указано, эта страница может бесконечно отображаться в результатах поиска. Ожидается, что после указанной даты и времени краулеры значительно снизят частоту сканирования URL-адреса.

Описание

Правила индексирования, заданные с помощью <meta name="robots"> и X-Robots-Tag, обнаруживаются при сканировании URL-адреса. Большинство краулеров поддерживают правила в HTTP-заголовке X-Robots-Tag, который можно использовать в элементе <meta name="robots">.

Если в X-Robots-Tag или между HTTP-заголовком X-Robots-Tag и элементом <meta name="robots"> указаны конфликтующие правила для роботов, применяется более ограничительное правило. Например, если для страницы заданы правила max-snippet:50 и nosnippet, будет применяться правило nosnippet. Правила индексирования не обнаруживаются и не применяются, если пути заблокированы для сканирования файлом robots.txt.

Некоторые значения взаимоисключающие, например index и noindex или follow и nofollow. В таких случаях поведение краулера не определено и может различаться.

Взаимодействие с robots.txt

Если сканирование ресурса заблокировано файлом robots.txt, сведения о правилах индексирования или показа, заданных с помощью <meta name="robots"> или HTTP-заголовка X-Robots-Tag, не будут обнаружены и, следовательно, будут проигнорированы.

Страница, сканирование которой заблокировано, всё ещё может быть проиндексирована, если на неё ссылается другой документ (см. директиву nofollow). Если вы хотите удалить страницу из поисковых индексов, обычно помогает X-Robots-Tag: noindex, но робот должен сначала повторно посетить страницу, чтобы обнаружить правило X-Robots-Tag.

Примеры

Использование X-Robots-Tag

Следующий заголовок X-Robots-Tag добавляет noindex, предписывая краулерам не показывать эту страницу, медиафайл или ресурс в результатах поиска:

HTTP/1.1 200 OK
Date: Tue, 03 Dec 2024 17:08:49 GMT
X-Robots-Tag: noindex

Несколько заголовков

В следующем ответе содержатся два заголовка X-Robots-Tag, каждый из которых задаёт правило индексирования:

HTTP/1.1 200 OK
Date: Tue, 03 Dec 2024 17:08:49 GMT
X-Robots-Tag: noimageindex
X-Robots-Tag: unavailable_after: Wed, 03 Dec 2025 13:09:53 GMT

Указание пользовательских агентов

Можно указать, к какому пользовательскому агенту должны применяться правила. В следующем примере содержатся два заголовка X-Robots-Tag: первый предписывает googlebot не переходить по ссылкам на этой странице, а второй — вымышленному краулеру BadBot не индексировать страницу и не переходить по ссылкам на ней:

HTTP/1.1 200 OK
Date: Tue, 03 Dec 2024 17:08:49 GMT
X-Robots-Tag: BadBot: noindex, nofollow
X-Robots-Tag: googlebot: nofollow

В приведённом ниже ответе заданы те же правила индексирования, но в одном заголовке. Каждое правило индексирования применяется к указанному после него пользовательскому агенту:

HTTP/1.1 200 OK
Date: Tue, 03 Dec 2024 17:08:49 GMT
X-Robots-Tag: BadBot: noindex, nofollow, googlebot: nofollow

Если указано несколько краулеров с разными правилами, поисковая система будет использовать совокупность запрещающих правил. Например:

X-Robots-Tag: nofollow
X-Robots-Tag: googlebot: noindex

При сканировании страницы с этими заголовками для неё будет применяться правило noindex, nofollow, если её сканирует googlebot.

Спецификации

Не входит ни в одну действующую спецификацию.

См. также

• robots.txt
• Поисковая система
• <meta name="robots"> HTML-элемент («robots tag»)
• Руководство по безопасности: настройка robots.txt
• RFC 9309: протокол исключения роботов
• Использование HTTP-заголовка X-Robots-Tag на developers.google.com