Мета-тег robots – это один из элементов стандартизированного языка разметки, который дает возможность контролировать процесс индексации веб-страниц поисковыми ботами, а также их показ этих страниц в выдаче в поиске.
Данный мета-тег можно заполнить на любой из страниц интернет-ресурса – для этого отведено отдельное место. Роботы поисковиков при индексировании считывают значение мета-тега robots, после чего принимают его во внимание, работая с сайтом в дальнейшем.
Для чего нужен мета-тег robots?
Как известно, существует специальный файл robots.txt, незаменимый при SEO-оптимизации веб-ресурса. Он дает запрет или разрешение на определенные действия поисковым ботам.
Мета-тег robots применяется вместе с этим файлом, чтобы иметь возможность более детально настраивать параметры индексации.
С помощью robots можно:
- Давать ботам доступ к просмотру содержимого определенных страниц, в то время как индексация каталогов остается закрытой;
- Давать ботам команды в том случае, когда корневая директория веб-сайта недоступна;
- Скрывать наполнение веб-страницы, в то время как ссылки остаются доступными для индексации поисковыми роботами.
