Список роботов и агентов Яндекс для оптимизации сайта

Оптимизация сайта включает отслеживание регулярности посещения сайта поисковыми роботами, анализируя логи посещений на уровне сервера. В PHP используется $_SERVER["HTTP_USER_AGENT"]. Определяем с какого момента поисковая система может учитывать оптимизированный контент сайта и начинаем следить за поисковой выдачей.

Список роботов Яндекс

Роботы Яндекс классифицируют в зависимости от выполняемых ими задач:

• Yandex/1.01.001 (compatible; Win16; I) — индексация текста
• Yandex/1.01.001 (compatible; Win16; P) — индексация картинок
• Yandex/1.01.001 (compatible; Win16; H) — определение зеркал сайта
• Yandex/1.02.000 (compatible; Win16; F) — индексация пиктограмм сайтов (favicons)
• Yandex/1.03.003 (compatible; Win16; D) — индексация страницы сайта по запросу
• Yandex/1.03.000 (compatible; Win16; M) — индексация страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) — индексация страницы, подключенной к Яндекс.Директ
• YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — индексация блогов и комментариев

Список IP адресов роботов Яндекс не разглашает.

Список агентов Яндекс

Агенты Яндекс определяют доступность сайта или документа, на который стоит ссылка в соответствующем сервисе.

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — проверяет доступность ссылок из Яндекс.Каталога. Сайт снимается с публикации, если недоступен в течение нескольких дней, и снова появляется, если становится доступен.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — проверяет доступность ссылок из Яндекс.Закладок. Недоступные ссылки помечаются серым.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — проверяет доступность ссылок из объявлений для Яндекс.Директ перед модерацией.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — проверяет доступность ссылок для Яндекс.Новости, формируя отчеты для контент-менеджеров, информируя о возможных проблемах у партнеров-поставщиков новостей.

Заказать оптимизацию сайта можно прямо сейчас, заполнив небольшую форму на сайте веб-студии.

Теги:
поисковая оптимизация, роботы янедкс, агенты янедкс, индексация сайта, индексация ссылок, оптимизация сайта