Nameless Опубликовано: октября 28, 2015 Жалоба Поделиться Опубликовано: октября 28, 2015 Давеча подскачила нагрузка на sql, что повлекло санкции со стороны хостера на свою персону, борясь с этой проблемой и анализируя логи пальнул таких товарищей: MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+AhrefsBot/5.0; +http://ahrefs.com/robot/Baiduspider/2.0; +http://www.baidu.com/search/spider.html сканируют они много и жадно, погуглив оказалось, что подобных сомнительных засланцев довольно много и в общем народ и блокирует, отсюда вопрос если смысл ограничивать им доступ и каким из них вот поднашел списочек : Aboundex 80legs 360Spider Java Cogentbot Alexibot asterias attach BackDoorBot BackWeb Bandit BatchFTP Bigfoot Black.Hole BlackWidow BlowFish BotALot Buddy BuiltBotTough Bullseye BunnySlippers Cegbfeieh CheeseBot CherryPicker ChinaClaw Collector Copier CopyRightCheck cosmos Crescent Custo AIBOT DISCo DIIbot DittoSpyder Download Demon Download Devil Download Wonder dragonfly Drip eCatch EasyDL ebingbong EirGrabber EmailCollector EmailSiphon EmailWolf EroCrawler Exabot Express WebPictures Extractor EyeNetIE Foobot flunky FrontPage Go-Ahead-Got-It gotit GrabNet Grafula Harvest hloader HMView HTTrack humanlinks IlseBot Image Stripper Image Sucker Indy Library InfoNavibot InfoTekies Intelliseek InterGET Internet Ninja Iria Jakarta JennyBot JetCar JOC JustView Jyxobot Kenjin.Spider Keyword.Density larbin LexiBot lftp libWeb/clsHTTP likse LinkextractorPro LinkScan/8.1a.Unix LNSpiderguy LinkWalker lwp-trivial LWP::Simple Magnet Mag-Net MarkWatch Mass Downloader Mata.Hari Memo Microsoft.URL Microsoft URL Control MIDown tool MIIxpc Mirror Missigua Locator Mister PiX moget Mozilla/3.Mozilla/2.01 Mozilla.*NEWT NAMEPROTECT Navroad NearSite NetAnts Netcraft NetMechanic NetSpider Net Vampire NetZIP NextGenSearchBot NG NICErsPRO niki-bot NimbleCrawler Ninja NPbot Octopus Offline Explorer Offline Navigator Openfind OutfoxBot PageGrabber Papa Foto pavuk pcBrowser PHP version tracker Pockey ProPowerBot/2.14 ProWebWalker psbot Pump QueryN.Metasearch RealDownload Reaper Recorder ReGet RepoMonkey RMA Siphon SiteSnagger SlySearch SmartDownload Snake Snapbot Snoopy sogou SpaceBison SpankBot spanner Sqworm Stripper Sucker SuperBot SuperHTTP Surfbot suzuran Szukacz/1.4 tAkeOut Teleport Telesoft TurnitinBot/1.5 The.Intraformant TheNomad TightTwatBot Titan True_bot turingos TurnitinBot URLy.Warning Vacuum VCI VoidEYE Web Image Collector Web Sucker WebAuto WebBandit Webclipping.com WebCopier WebEMailExtrac.*" bot WebEnhancer WebFetch WebGo IS Web.Image.Collector WebLeacher WebmasterWorldForumBot WebReaper WebSauger Website eXtractor Website Quester Webster WebStripper WebWhacker WebZIP Whacker Widow WISENutbot WWWOFFLE WWW-Collector-E Xaldon Xenu Zeus ZmEu Zyborg AhrefsBot archive.org_bot bingbot Wget Acunetix FHscanи какое время оптимально поставить для директивы Crawl-delay Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Nameless Опубликовано: октября 28, 2015 Автор Жалоба Поделиться Опубликовано: октября 28, 2015 crawl - delay не трогайте если нет заметных проблем с нагрузкой что касается ботов - то да.. Втопку. этих всех можно смело в топку? или какой нибудь бинг есть смысл оставить? да есть перегруз сильный, кажется основной косяк я локализовал (позже напишу после тестов в отдельной ветке), но все равно нагрузка раньше была меньше(я перепотрошил блог и описание к товарам вероятно они от этого там еще трутся) читал что оптимально поставить значение в 10 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Nameless Опубликовано: октября 28, 2015 Автор Жалоба Поделиться Опубликовано: октября 28, 2015 спасибо, а ботов то всех банить кроме гугла/яда/мейла? Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Это популярное сообщение. Nameless Опубликовано: октября 29, 2015 Автор Это популярное сообщение. Жалоба Поделиться Опубликовано: октября 29, 2015 короче начал блокировать гадов, прописав такое в .hacces RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (AhrefsBot/5.0|Baiduspider/2.0|MJ12bot) [NC] RewriteRule .* - [R=403,L]а в логах все равно числиться на пример такой засранец:[29/Oct/2015:08:38:27 +0300] "GET /ukrashenija-iz-serebra/pdse0201.html HTTP/1.0" 403 211 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" вопрос где не так прописал? Oweo 1 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Это популярное сообщение. Nameless Опубликовано: ноября 2, 2015 Автор Это популярное сообщение. Жалоба Поделиться Опубликовано: ноября 2, 2015 в общем остановился на такой конструкции: ## Блокировка по USER AGENT: RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} bingbot [OR] RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} Aport [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} Zeus RewriteRule ^(.*)$ – [F,L]нагрузка по sql упала в несколько раз admin и Oweo 2 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Nameless Опубликовано: ноября 9, 2015 Автор Жалоба Поделиться Опубликовано: ноября 9, 2015 этого уродца нужно добавить MegaIndex.ru/2.0; +http://megaindex.com/crawler) RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]а то во что может вытворить: Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Blade Опубликовано: ноября 10, 2015 Жалоба Поделиться Опубликовано: ноября 10, 2015 Всем привет.А можно скинуть итоговый htaccess (текст) А то занесу куда нибудь, что потом кроме меня никто не достучится) Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Nameless Опубликовано: ноября 10, 2015 Автор Жалоба Поделиться Опубликовано: ноября 10, 2015 Всем привет.А можно скинуть итоговый htaccess (текст) А то занесу куда нибудь, что потом кроме меня никто не достучится) нужно только добавить эти строки в ваш .htaccess: ## Блокировка по USER AGENT: RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR] RewriteCond %{HTTP_USER_AGENT} bingbot [OR] RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} Aport [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} Zeus RewriteRule ^(.*)$ – [F,L] при необходимости можно добавить дургих Но [OR] в последней строчке не должно быть Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Blade Опубликовано: ноября 10, 2015 Жалоба Поделиться Опубликовано: ноября 10, 2015 нужно только добавить эти строки в ваш .htaccess: при необходимости можно добавить дургих Но [OR] в последней строчке не должно быть Дописал все это в htaccess На сайте и в админке появились тормоза (долго грузит страницу).Это совпадение (упадок скорости интернета или загрузка сервера) или это как то связано с этими адресами ? Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Nameless Опубликовано: ноября 10, 2015 Автор Жалоба Поделиться Опубликовано: ноября 10, 2015 Дописал все это в htaccess На сайте и в админке появились тормоза (долго грузит страницу).Это совпадение (упадок скорости интернета или загрузка сервера) или это как то связано с этими адресами ? у себя не чего такого не заметил, протестируйте, я собственно поделился тем что сам нагуглил и у меня заработало Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Blade Опубликовано: ноября 10, 2015 Жалоба Поделиться Опубликовано: ноября 10, 2015 у себя не чего такого не заметил, протестируйте, я собственно поделился тем что сам нагуглил и у меня заработало ок, видимо совпадение Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сейчас и зарегистрироваться позже. Если у вас есть учётная запись, войдите, чтобы публиковать под своей учётной записью.