Имена поисковых ботов

Купить рекламу

Шины и диски для настоящих боссов дороги

Обновить

Тема закрыта!

Cat

22.38

[автор] (21 янв 2017, 18:41) [0/0] [0] [спам] [под]

Доброго вечера, профики)

Занялся написанием инструкций индексации страниц сайта ботами поисковых систем (файл robots.txt), так вот к чему я веду, а к тому, что нужны имена всех ботов поисковых систем, те что указываются после User-agent, например:
User-agent: Googlebot

Самому поискать тяжело, сижу не с ПК уже давно как, потому прошу сделать это за меня, разумеется кому не сложно, пробежаться и собрать списочек имён ботов, я в свою очередь скажу за это огромнейшее спасибо с занесением в анкету.
Добавлено 21.01.17 в 18:53:47:
Я тут отойду ненадолго, есть дела, но временами буду мониторить тему.

Сотворяю непознанные чудеса

Хануман

8.98

(21 янв 2017, 18:59) [0/0] [0] [спам] [под]

Delete, плиз

Bank Of ProfiWM

23.2

(21 янв 2017, 19:02) [0/0] [0] [спам] [под]

User-agent: *

[DеD_ПыХтО]

11.22

(21 янв 2017, 19:03) [0/0] [0] [спам] [под]

User-agent: *

Cat

22.38

[автор] (21 янв 2017, 19:06) [0/0] [0] [спам] [под]

А я бы с удовольствием, но разные инструкции для каждого бота поисковой системы, для гугл - свои, для архива - свои.

Сотворяю непознанные чудеса

Cat

22.38

[автор] (21 янв 2017, 19:06) [0/0] [0] [спам] [под]

Пост #5

Сотворяю непознанные чудеса

[DеD_ПыХтО]

11.22

(21 янв 2017, 19:12) [0/0] [0] [спам] [под]

User-agent: Yandex — основной робот Яндекса

User-agent: Googlebot — основной робот Google

User-agent: Slurp — поисковый робот Yahoo!

User-agent: MSNBot — поисковый робот MSN

User-agent: ia_archiver — робот Alexa

User-agent: StackRambler — поисковый робот Рамблера*

рамблер юзает выдачу яндекса