46

В Справке Google появилось расширенное руководство по управлению краулинговым бюджетом для владельцев крупных сайтов

В Справке Google появилось расширенное руководство по управлению краулинговым бюджетом для владельцев крупных сайтов

Компания Google в своей справке пользователя опубликовала расширенное руководство по управлению лимитом на сканирование для владельцев крупных сайтов:

  • Клиентов с оборотом более 1 млн уникальных страниц  и достаточно часто меняющимся контентом за неделю.
  • Клиентов с более 10 тыс. уникальных страниц, но очень часто ежедневно меняющимся контентом.

Лимит на сканирование сайта будет зависеть от основных факторов: 

  • скорости сканирования
  • потребности в сканировании.

Чтобы увеличить лимит на сканирование, необходимо выделить дополнительные ресурсы сервера для сканирования либо повысить ценность контента, который размещается на сайте для пользователей.

В рекомендациях указывается необходимость:

  • Закрывать от сканирования дублирующиеся URL, чтобы избежать необходимости роботом дополнительно тратить время на обнаружение более ценных страниц.
  • Удалить страницы с одинаковым контентом.
  • Заблокировать сканирование URL, что не следует индексировать.
  • Не использовать тег noindex.
  • Возвращать код ошибки 404 или 410 для удаленных страниц.
  • Устранить ложные ошибки 404.
  • Обновлять файлы Sitemap.
  • Избегать длинных цепочек переадресации.
  • Проверять, как сканируется сайт.

Более подробно можно узнать в справке Google:

https://support.google.com/webmasters/answer/9689511?hl=ru

Телефоны и адрес

  • Украина
  • Киев
  • Металлистов, 7

Украина:

+38 (044) 228 70 11
+38 (097) 355 11 77
+38 (063) 355 11 77
+38 (095) 355 11 77

Другие страны:

+16465689880
+48226022132
+74991130513
+77273505919

Работаем по миру

  • Украина
  • Беларусь
  • Россия
  • Польша
  • Дания
  • Германия
  • Англия
  • Франция
  • Чехия
  • США
  • Испания
  • Италия

Основано в 2013