Как роботы Yandex отображаются в логах сервера

Как роботы Yandex отображаются в логах сервера

Вот неполный список роботов Yandex. Каждый бот отвечает за конкретную задачу

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — main indexing робот;
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — Yandex.Image индексатор;
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — Yandex.Video индексатор;
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — robot indexing multimedia data;
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — Робот поиска по блогам, индексатор комментариев;
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)— favicon индексатор;
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)— a robot that has been directed to a page through the «Add Url» or services «Yandex.Webmaster»;
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)—a robot that validates the micro markup of a page using the «Micro markup validator» form;
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — Робот мобильных служб;
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — robot indexing pages of sites belonging to the Yandex Advertising Network;
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — Yandex.Direct робот. Проверяет страницы перед модерацией;
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — Yandex.Metrica робот;
Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — Yandex.News робот;
Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — Yandex.Catalog робот. If a site is offline for several days, it is removed from Catalog. As soon as the site comes online, it will automatically begin to appear in Catalog again.
Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — робот-антивирус, проверяющий сайты на malicious code.
Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) — a robot used to verify the availability of pages added to Yandex.Bookmarks.

Есть много IP-адресов, с которые Яндекс роботы могут приходить и эти IP-адреса могут измененяться. Поэтому не рекомендуется использовать фильтр на основе IP-адресов.

Поделитесь этой страницей!