Поисковый индекс (индекс поисковых систем) – это специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. Для этого учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты.
Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности – формирование списка сайтов по мере убывания их значимости.
Процесс добавления роботами собранной информации в базу называется индексацией.
Процесс заполнения индекса осуществляется одним из двух способов:
- Вручную. Владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем.
- Автоматически. Робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.
Основные роботы поисковых систем:
- основной – сканирует весь контент на сайте и его отдельных страницах;
- быстрый– индексирует только новую информацию, которая была добавлена после очередного обновления.
Также существуют роботы для индексации rss-ленты, картинок и др.
Как ускорить индексацию
На скорость индексации сайта прямо влияют несколько факторов:
- отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
- авторитетность ресурса;
- частота обновления контента на сайте;
- частота добавления нового контента на сайт;
- уровень вложенности страниц;
- корректно заполненный файл sitemap.xml;
- ограничения в robots.txt.
Чтобы ускорить индексацию сайта, выполните ряд правил:
- выберите быстрый и надежный хостинг;
- настройте robots.txt, установив правила индексации и сняв ненужные запреты;
- избавьтесь от дублей и ошибок в коде страниц;
- создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
- по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
- добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
- сделайте внутреннюю перелинковку страниц;
- зарегистрируйте сайт в авторитетных рейтингах;
- регулярно обновляйте контент.
