(21 янв 2017, 20:03) (0/0)
[0]
О, первая ссылочка, то что нужно, вторая больше о расширении гугл бота.
(21 янв 2017, 19:06) (0/0)
[0]
А я бы с удовольствием, но разные инструкции для каждого бота поисковой системы, для гугл - свои, для архива - свои.
(21 янв 2017, 18:41) (0/0)
[0]
Доброго вечера, профики)
Занялся написанием инструкций индексации страниц сайта ботами поисковых систем (файл robots.txt), так вот к чему я веду, а к тому, что нужны имена всех ботов поисковых систем, те что указываются после User-agent, например:
User-agent: Googlebot
Самому поискать тяжело, сижу не с ПК уже давно как, потому прошу сделать это за меня, разумеется кому не сложно, пробежаться и собрать списочек имён ботов, я в свою очередь скажу за это огромнейшее спасибо с занесением в анкету.
Добавлено 21.01.17 в 18:53:47:
Я тут отойду ненадолго, есть дела, но временами буду мониторить тему.
Занялся написанием инструкций индексации страниц сайта ботами поисковых систем (файл robots.txt), так вот к чему я веду, а к тому, что нужны имена всех ботов поисковых систем, те что указываются после User-agent, например:
User-agent: Googlebot
Самому поискать тяжело, сижу не с ПК уже давно как, потому прошу сделать это за меня, разумеется кому не сложно, пробежаться и собрать списочек имён ботов, я в свою очередь скажу за это огромнейшее спасибо с занесением в анкету.
Добавлено 21.01.17 в 18:53:47:
Я тут отойду ненадолго, есть дела, но временами буду мониторить тему.
