Пришли боты и нагрузили сервер

[rider76]

Добрый день!! Тема старовата, но решил новую не создавать. Создал я интернет-магазин, так как работа планировалась в основном под заказ загрузил туда 42 тыс товара с картинками и описанием без цен (проставил цена по запросу), при этом у каждого товара еще до кучи 2-20 тегов. Около 6-8 месяцев вроде как все в норме, 200-300 запросов к базе при 5-10 посетителях. Как каталог товаров сайт себя вроде как оправдывал, и вот неожиданно началось твориться что-то невообразимое - резкое увеличение запросов от поисковых ботов, за 3-4 дня возросло до 10 тыс в сутки. Хостинг шлет предупреждения, но особо не ругается и блокировать пока не собирается. Вот теперь сижу и не пойму - радоваться надо или напрягаться от такого неожиданного проявления внимания. Подскажите что делать. ПО логам основную нагрузку создают вот эти боты:

YandexBot

AhrefsBot

bingbot

 

основные запросы идут по тегам - /index.php?route=product/search&tag - которых довольно очень много, в виду специфики работы (автозапчасти) теги у меня являются как-бы дополнительными артикулами и участвуют в формировании выдачи в поиске аналогичных товаров и то что они попадают в индекс поисковых систем для меня хорошо. В общем немного запарился уже, подскажите что делать. Само пройдет или надо предпринимать действия по блокировкам и ботов и т.д. ? Ксати в robots выставил Crawl-delay: 120 - никакого эффекта

[markimax]

Закрыть в robots.txt все

search

page

limit

фильтры

и т п
И это не есть хорошо когда попадает в индекс (получается много фактически дублированного контента)

[rider76]

Спасибо за ответ!! Сейчас все успокоилось, в пределах нормы.

Яндекс вроде отстал после ограничения по лимиту или сам по себе, так как все что нужно уже выгрузил.

Вот этот теперь шурует AhrefsBot  - это вообще что за бот, может его вообще обрубить через htaccess ?

[mrgeser]

46 минут назад, rider76 сказал:

Вот этот теперь шурует AhrefsBot  - это вообще что за бот, может его вообще обрубить через htaccess ?

Вроде он ссылки проверяет для одного сервиса (таких много)

 

Но эти звери слушаются robots.txt через htaccess думаю нету смысла

Я сделал вот так и они больше не ходят

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

 

[mrgeser]

bingbot это от микрософта поисковик, смысла от него особого нету хотя нагрузку создает приличную. 

Я его пока не трогаю, но думаю тоже можно смело закрывать от него, у меня с этого поисковика трафика 10-20 человек в год =)

[rider76]

я так понимаю для нас надо оставлять гугл, яндекс, маил, рамблер - вобщем основные все, остальных блокировать, я правильно понимаю??

[mrgeser]

Особо напористых и бессмысленных блокировать, а остальные пусть ползают.

Сугубо моё мнение.

[mrgeser]

22 часа назад, rider76 сказал:

запросы идут по тегам - /index.php?route=product/search&tag

В стандарте у OcShop эти страницы закрыты тегом 

<meta name="robots" content="noindex,follow" />

и в поисковую выдачу они все равно не попадают. А вот роботы лезут и нагружают сервер.

И как написал markimax их лучше закрывать в robots.txt

При 40к товаров этих страниц с поиском и фильтрацией - МИЛЛИОНЫ, и ничего хорошего с этого не получится

[rider76]

2 часа назад, mrgeser сказал:

Особо напористых и бессмысленных блокировать, а остальные пусть ползают.

Сугубо моё мнение.

Вот где бы списочек раздобыть бессымсленных.

[mrgeser]

Только что, rider76 сказал:

Вот где бы списочек раздобыть бессымсленных

 

Двоих самых напористых я писал в посте выше. 

А так борюсь с проблемами по мере их поступления.

[RHCk]

31 минуту назад, rider76 сказал:

Вот где бы списочек раздобыть

Списочек. Не благодарите. Ваш Кэп))

[Alexlug]

Всем привет!

 

Короче ситуация такая. Сегодня захожу на почту, а там более трехсот писем с заполненной формой. Письма приходили каждую секунду. 

Боты атаковали данную форму. Подскажите как от них поставить защиту? 

https://autoparts.net.ua/zakaz-zapchastey/

[markimax]

1 час назад, Alexlug сказал:

Всем привет!

 

Короче ситуация такая. Сегодня захожу на почту, а там более трехсот писем с заполненной формой. Письма приходили каждую секунду. 

Боты атаковали данную форму. Подскажите как от них поставить защиту? 

https://autoparts.net.ua/zakaz-zapchastey/

"Пробивали" загрузку файлов на предмет дырок еще видно

[WarStyle]

23 часа назад, Yoda сказал:

https://www.google.com/recaptcha/intro/

 

Я бы убил тех, кто придумал её! Я в вебмастере добавлял ссылки, это жопа, каждый раз нужно выбирать эти долбанные картинки, лучше обычная капча... =)

[RHCk]

1 час назад, WarStyle сказал:

лучше обычная капча

Обычная капча спасает только от людей.