пропиши это в роботе Crawl-delay: 1 в разы снизит нагрузку.у меня форум посещает более 300 ботов половину из них даже счетчик сайта не видет