Мета-тег robots

Мета-тег robots – это один из элементов стандартизированного языка разметки, который дает возможность контролировать процесс индексации веб-страниц поисковыми ботами, а также их показ этих страниц в выдаче в поиске.

Данный мета-тег можно заполнить на любой из страниц интернет-ресурса – для этого отведено отдельное место. Роботы поисковиков при индексировании считывают значение мета-тега robots, после чего принимают его во внимание, работая с сайтом в дальнейшем.

Для чего нужен мета-тег robots?

Как известно, существует специальный файл robots.txt, незаменимый при SEO-оптимизации веб-ресурса. Он дает запрет или разрешение на определенные действия поисковым ботам.

Мета-тег robots применяется вместе с этим файлом, чтобы иметь возможность более детально настраивать параметры индексации.

С помощью robots можно:

  • Давать ботам доступ к просмотру содержимого определенных страниц, в то время как индексация каталогов остается закрытой;
  • Давать ботам команды в том случае, когда корневая директория веб-сайта недоступна;
  • Скрывать наполнение веб-страницы, в то время как ссылки остаются доступными для индексации поисковыми роботами.