Директива

Директива – специальная команда для поисковых роботов, которую прописывают в стандарте ограничения robot.txt. Данный стандарт за счет прописываемых в нем директив дает команду поисковым роботам, какие именно страницы интернет-ресурса необходимо проиндексировать. Директивы позволяют оптимизаторам запрещать или разрешать роботам посещать конкретные страницы сайта, обозначать доступное время для скачивания документов и т.п.

Каждая директива в стандарте ограничения robot.txt прописывается с новой строки, после нее ставится знак двоеточия и задается полный URL файла в каталоге.

Рассмотрим примеры:

  • Директива disallow – закрывает от просмотра роботами желаемые страницы;
  • Директива allow – открывает к просмотру роботами желаемые страницы принудительно;
  • Директива sitemap – показывает путь к карте интернет-ресурса.

Телефоны и адрес

  • Украина
  • Киев
  • Металлистов, 7

Украина:

+38 (044) 228 70 11
+38 (097) 355 11 77
+38 (063) 355 11 77
+38 (095) 355 11 77

Другие страны:

+16465689880
+48226022132
+74991130513
+77273505919

Работаем по миру

  • Украина
  • Беларусь
  • Россия
  • Польша
  • Дания
  • Германия
  • Англия
  • Франция
  • Чехия
  • США
  • Испания
  • Италия