{% else-1 %}
Обновить
* Тема закрыта!
1.
Cat * 22.38
[автор] (21 янв 2017, 18:41) [0/0] [0] [спам] [под]

Доброго вечера, профики)

Занялся написанием инструкций индексации страниц сайта ботами поисковых систем (файл robots.txt), так вот к чему я веду, а к тому, что нужны имена всех ботов поисковых систем, те что указываются после User-agent, например:
User-agent: Googlebot

Самому поискать тяжело, сижу не с ПК уже давно как, потому прошу сделать это за меня, разумеется кому не сложно, пробежаться и собрать списочек имён ботов, я в свою очередь скажу за это огромнейшее спасибо с занесением в анкету.
Добавлено 21.01.17 в 18:53:47:
Я тут отойду ненадолго, есть дела, но временами буду мониторить тему.

2. (21 янв 2017, 18:59) [0/0] [0] [спам] [под]

Delete, плиз *

3. (21 янв 2017, 19:02) [0/0] [0] [спам] [под]

User-agent: *

4. (21 янв 2017, 19:03) [0/0] [0] [спам] [под]

User-agent: *

5.
Cat * 22.38
[автор] (21 янв 2017, 19:06) [0/0] [0] [спам] [под]

А я бы с удовольствием, но разные инструкции для каждого бота поисковой системы, для гугл - свои, для архива - свои.

6.
Cat * 22.38
[автор] (21 янв 2017, 19:06) [0/0] [0] [спам] [под]

Пост #5

7. (21 янв 2017, 19:12) [0/0] [0] [спам] [под]

User-agent: Yandex — основной робот Яндекса

User-agent: Googlebot — основной робот Google

User-agent: Slurp — поисковый робот Yahoo!

User-agent: MSNBot — поисковый робот MSN

User-agent: ia_archiver — робот Alexa

User-agent: StackRambler — поисковый робот Рамблера*

рамблер юзает выдачу яндекса

8.
Cat * 22.38
[автор] (21 янв 2017, 19:29) [0/0] [0] [спам] [под]

[DеD_ПыХтО], спасибо, благодарность оформлена.

9.
Cat * 22.38
[автор] (21 янв 2017, 19:30) [0/0] [0] [спам] [под]

Может кто ещё какие знает, не стесняйтесь, пишите *

10. (21 янв 2017, 19:49) [0/0] [0] [спам] [под]

http://www.pkgid.ru/index.php?name=News&op=view&id=317
https://devaka.ru/articles/list-of-search-bots

Подписаны: 0
Скачать тему | Файлы темы | Фильтр сообщений