Поиск по сайту

Давеча подскачила нагрузка на sql, что повлекло санкции со стороны хостера на свою персону, борясь с этой проблемой и анализируя логи пальнул таких товарищей: MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+ AhrefsBot/5.0; +http://ahrefs.com/robot/ Baiduspider/2.0; +http://www.baidu.com/search/spider.html сканируют они много и жадно, погуглив оказалось, что подобных сомнительных засланцев довольно много и в общем народ и блокирует, отсюда вопрос если смысл ограничивать им доступ и каким из них вот поднашел списочек : Aboundex 80legs 360Spider Java Cogentbot Alexibot asterias attach BackDoorBot BackWeb Bandit BatchFTP Bigfoot Black.Hole BlackWidow BlowFish BotALot Buddy BuiltBotTough Bullseye BunnySlippers Cegbfeieh CheeseBot CherryPicker ChinaClaw Collector Copier CopyRightCheck cosmos Crescent Custo AIBOT DISCo DIIbot DittoSpyder Download Demon Download Devil Download Wonder dragonfly Drip eCatch EasyDL ebingbong EirGrabber EmailCollector EmailSiphon EmailWolf EroCrawler Exabot Express WebPictures Extractor EyeNetIE Foobot flunky FrontPage Go-Ahead-Got-It gotit GrabNet Grafula Harvest hloader HMView HTTrack humanlinks IlseBot Image Stripper Image Sucker Indy Library InfoNavibot InfoTekies Intelliseek InterGET Internet Ninja Iria Jakarta JennyBot JetCar JOC JustView Jyxobot Kenjin.Spider Keyword.Density larbin LexiBot lftp libWeb/clsHTTP likse LinkextractorPro LinkScan/8.1a.Unix LNSpiderguy LinkWalker lwp-trivial LWP::Simple Magnet Mag-Net MarkWatch Mass Downloader Mata.Hari Memo Microsoft.URL Microsoft URL Control MIDown tool MIIxpc Mirror Missigua Locator Mister PiX moget Mozilla/3.Mozilla/2.01 Mozilla.*NEWT NAMEPROTECT Navroad NearSite NetAnts Netcraft NetMechanic NetSpider Net Vampire NetZIP NextGenSearchBot NG NICErsPRO niki-bot NimbleCrawler Ninja NPbot Octopus Offline Explorer Offline Navigator Openfind OutfoxBot PageGrabber Papa Foto pavuk pcBrowser PHP version tracker Pockey ProPowerBot/2.14 ProWebWalker psbot Pump QueryN.Metasearch RealDownload Reaper Recorder ReGet RepoMonkey RMA Siphon SiteSnagger SlySearch SmartDownload Snake Snapbot Snoopy sogou SpaceBison SpankBot spanner Sqworm Stripper Sucker SuperBot SuperHTTP Surfbot suzuran Szukacz/1.4 tAkeOut Teleport Telesoft TurnitinBot/1.5 The.Intraformant TheNomad TightTwatBot Titan True_bot turingos TurnitinBot URLy.Warning Vacuum VCI VoidEYE Web Image Collector Web Sucker WebAuto WebBandit Webclipping.com WebCopier WebEMailExtrac.*" bot WebEnhancer WebFetch WebGo IS Web.Image.Collector WebLeacher WebmasterWorldForumBot WebReaper WebSauger Website eXtractor Website Quester Webster WebStripper WebWhacker WebZIP Whacker Widow WISENutbot WWWOFFLE WWW-Collector-E Xaldon Xenu Zeus ZmEu Zyborg AhrefsBot archive.org_bot bingbot Wget Acunetix FHscan и какое время оптимально поставить для директивы Crawl-delay