Дополнить файл .htaccess следующим содержимым:

                        
order allow,deny

allow from all

# Далее список юзерагентов которым мы запрещаем доступ

SetEnvIfNoCase User-Agent JS-Kit bad_bot

SetEnvIfNoCase User-Agent PostRank bad_bot

SetEnvIfNoCase User-Agent Python-urllib bad_bot

SetEnvIfNoCase User-Agent UnwindFetchor bad_bot

SetEnvIfNoCase User-Agent facebookexternalhit bad_bot

SetEnvIfNoCase User-Agent TweetmemeBot bad_bot

SetEnvIfNoCase User-Agent Butterfly bad_bot

SetEnvIfNoCase User-Agent MFE_expand bad_bot

SetEnvIfNoCase User-Agent Java bad_bot

SetEnvIfNoCase User-Agent Summify bad_bot

SetEnvIfNoCase User-Agent MetaURI bad_bot

SetEnvIfNoCase User-Agent FlipboardProxy bad_bot

SetEnvIfNoCase User-Agent ScribdReader bad_bot

SetEnvIfNoCase User-Agent RockMelt bad_bot

SetEnvIfNoCase User-Agent InAGist bad_bot

SetEnvIfNoCase User-Agent NING bad_bot

SetEnvIfNoCase User-Agent TweetedTimes bad_bot

SetEnvIfNoCase User-Agent PaperLiBot bad_bot

SetEnvIfNoCase User-Agent Library bad_bot

SetEnvIfNoCase User-Agent Ezooms bad_bot

SetEnvIfNoCase User-Agent strawberryj bad_bot

SetEnvIfNoCase User-Agent Scooper bad_bot

SetEnvIfNoCase User-Agent Ahrefs bad_bot

SetEnvIfNoCase User-Agent Spider bad_bot

SetEnvIfNoCase User-Agent None bad_bot

SetEnvIfNoCase User-Agent EventMachine bad_bot

SetEnvIfNoCase User-Agent aiHitBot bad_bot

SetEnvIfNoCase User-Agent SolomonoBot bad_bot

SetEnvIfNoCase User-Agent SearchBot bad_bot

SetEnvIfNoCase User-Agent Wget bad_bot

SetEnvIfNoCase User-Agent Crawler bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot