Директива – специальная команда для поисковых роботов, которую прописывают в стандарте ограничения robot.txt. Данный стандарт за счет прописываемых в нем директив дает команду поисковым роботам, какие именно страницы интернет-ресурса необходимо проиндексировать. Директивы позволяют оптимизаторам запрещать или разрешать роботам посещать конкретные страницы сайта, обозначать доступное время для скачивания документов и т.п.
Каждая директива в стандарте ограничения robot.txt прописывается с новой строки, после нее ставится знак двоеточия и задается полный URL файла в каталоге.
Рассмотрим примеры:
- Директива disallow – закрывает от просмотра роботами желаемые страницы;
- Директива allow – открывает к просмотру роботами желаемые страницы принудительно;
- Директива sitemap – показывает путь к карте интернет-ресурса.
