Apple разрабатывает собственного робота

Компания Apple подтвердила, что об Applebot уже знают и Siri, и локальный поисковик Spotlight. Applebot будет осуществлять глобальный поиск в сети Интернет. Напомним, осенью 2014 года веб-мастера заметили, что на сайтах фиксируются визиты поисковых роботов с ip-адресов, начинающихся с 17; этот блок адресов принадлежит Apple. Сегодня информация о том, что в Купертино разрабатывают собственный веб-сканер, появилась в документации службы поддержки компании.

Уже известно, что поисковый робот Applebot поддерживает пользовательские правила в файлах robots.txt и мета-теги для роботов. Он работает в блоке ip-адресов 17.0.0.0.

В настоящее время Siri использует для веб-поиска Bing и Wolfram Alpha, так что вполне закономерен вопрос: зачем Apple собственный инструмент индексации в Интернете? В представленной документации формулировка достаточно расплывчатая: предполагается, что Applebot будет создан для удовлетворения запросов от Siri и Spotlight. Впрочем, эксперты не исключают, что функции Applebot могут быть значительно шире.

#python