Поисковый робот

Поисковый робот (краулер, паук, бот, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider) – это специальная программа браузерного типа какой-либо поисковой системы, которая предназначена для занесения в базу (индексирования) найденных в Интернете сайтов и их страниц.

Принцип работы

Поисковый робот постоянно сканирует сеть:

  • посещает проиндексированные (уже известные ему) сайты.
  • переходит по ссылкам с них и находит новые ресурсы.

При обнаружении нового ресурса робот процедур добавляет его в индекс поисковика. Поисковый робот также индексирует обновления на сайтах, периодичность которых фиксируется.

Виды поисковых роботов

Пауки Яндекса:

  • Yandex/1.01.001 I — основной бот, занимающийся индексацией,
  • Yandex/1.01.001 (P) — индексирует картинки,
  • Yandex/1.01.001 (H) — находит зеркала сайтов,
  • Yandex/1.03.003 (D) — определяет, соответствует ли страница, добавленная из панели вебмастера, параметрам индексации,
  • YaDirectBot/1.0 (I) — индексирует ресурсы из рекламной сети Яндекса,
  • Yandex/1.02.000 (F) — индексирует фавиконы сайтов.

Пауки Google:

  • Робот Googlebot — основной робот,
  • Googlebot News — сканирует и индексирует новости,
  • Google Mobile — индексирует сайты для мобильных устройств,
  • Googlebot Images — ищет и индексирует изображения,
  • Googlebot Video — индексирует видео,
  • Google AdsBot — проверяет качество целевой страницы,
  • Google Mobile AdSense и Google AdSense — индексирует сайты рекламной сети Google.

Телефоны и адрес

  • Украина
  • Киев
  • Металлистов, 7

Украина:

+38 (044) 228 70 11
+38 (097) 355 11 77
+38 (063) 355 11 77
+38 (095) 355 11 77

Другие страны:

+16465689880
+48226022132
+74991130513
+77273505919

Работаем по миру

  • Украина
  • Беларусь
  • Россия
  • Польша
  • Дания
  • Германия
  • Англия
  • Франция
  • Чехия
  • США
  • Испания
  • Италия

Основано в 2013