User-agent: Yandex — основной робот Яндекса

User-agent: Googlebot — основной робот Google

User-agent: Slurp — поисковый робот Yahoo!

User-agent: MSNBot — поисковый робот MSN

User-agent: ia_archiver — робот Alexa

User-agent: StackRambler — поисковый робот Рамблера*

рамблер юзает выдачу яндекса

User-agent: *