COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Пришли боты и нагрузили сервер


rider76

Recommended Posts

Добрый день!! Тема старовата, но решил новую не создавать. Создал я интернет-магазин, так как работа планировалась в основном под заказ загрузил туда 42 тыс товара с картинками и описанием без цен (проставил цена по запросу), при этом у каждого товара еще до кучи 2-20 тегов. Около 6-8 месяцев вроде как все в норме, 200-300 запросов к базе при 5-10 посетителях. Как каталог товаров сайт себя вроде как оправдывал, и вот неожиданно началось твориться что-то невообразимое - резкое увеличение запросов от поисковых ботов, за 3-4 дня возросло до 10 тыс в сутки. Хостинг шлет предупреждения, но особо не ругается и блокировать пока не собирается. Вот теперь сижу и не пойму - радоваться надо или напрягаться от такого неожиданного проявления внимания. Подскажите что делать. ПО логам основную нагрузку создают вот эти боты:

YandexBot

AhrefsBot

bingbot

 

основные запросы идут по тегам - /index.php?route=product/search&tag - которых довольно очень много, в виду специфики работы (автозапчасти) теги у меня являются как-бы дополнительными артикулами и участвуют в формировании выдачи в поиске аналогичных товаров и то что они попадают в индекс поисковых систем для меня хорошо. В общем немного запарился уже, подскажите что делать. Само пройдет или надо предпринимать действия по блокировкам и ботов и т.д. ? Ксати в robots выставил Crawl-delay: 120 - никакого эффекта

Ссылка на комментарий
Поделиться на других сайтах

Спасибо за ответ!! Сейчас все успокоилось, в пределах нормы.

Яндекс вроде отстал после ограничения по лимиту или сам по себе, так как все что нужно уже выгрузил.

Вот этот теперь шурует AhrefsBot  - это вообще что за бот, может его вообще обрубить через htaccess ?

Ссылка на комментарий
Поделиться на других сайтах

46 минут назад, rider76 сказал:

Вот этот теперь шурует AhrefsBot  - это вообще что за бот, может его вообще обрубить через htaccess ?

Вроде он ссылки проверяет для одного сервиса (таких много)

 

Но эти звери слушаются robots.txt через htaccess думаю нету смысла

Я сделал вот так и они больше не ходят

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

 

Ссылка на комментарий
Поделиться на других сайтах

bingbot это от микрософта поисковик, смысла от него особого нету хотя нагрузку создает приличную. 

Я его пока не трогаю, но думаю тоже можно смело закрывать от него, у меня с этого поисковика трафика 10-20 человек в год =)

Ссылка на комментарий
Поделиться на других сайтах

я так понимаю для нас надо оставлять гугл, яндекс, маил, рамблер - вобщем основные все, остальных блокировать, я правильно понимаю??

Ссылка на комментарий
Поделиться на других сайтах

22 часа назад, rider76 сказал:

запросы идут по тегам - /index.php?route=product/search&tag

В стандарте у OcShop эти страницы закрыты тегом 

<meta name="robots" content="noindex,follow" />

и в поисковую выдачу они все равно не попадают. А вот роботы лезут и нагружают сервер.

И как написал markimax их лучше закрывать в robots.txt

При 40к товаров этих страниц с поиском и фильтрацией - МИЛЛИОНЫ, и ничего хорошего с этого не получится

Ссылка на комментарий
Поделиться на других сайтах

2 часа назад, mrgeser сказал:

Особо напористых и бессмысленных блокировать, а остальные пусть ползают.

Сугубо моё мнение.

Вот где бы списочек раздобыть бессымсленных.

Ссылка на комментарий
Поделиться на других сайтах

Только что, rider76 сказал:

Вот где бы списочек раздобыть бессымсленных

 

Двоих самых напористых я писал в посте выше. 

А так борюсь с проблемами по мере их поступления.

Ссылка на комментарий
Поделиться на других сайтах

  • 4 months later...

Всем привет!

 

Короче ситуация такая. Сегодня захожу на почту, а там более трехсот писем с заполненной формой. Письма приходили каждую секунду. 

Боты атаковали данную форму. Подскажите как от них поставить защиту? 

https://autoparts.net.ua/zakaz-zapchastey/

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Alexlug сказал:

Всем привет!

 

Короче ситуация такая. Сегодня захожу на почту, а там более трехсот писем с заполненной формой. Письма приходили каждую секунду. 

Боты атаковали данную форму. Подскажите как от них поставить защиту? 

https://autoparts.net.ua/zakaz-zapchastey/

"Пробивали" загрузку файлов на предмет дырок еще видно

Ссылка на комментарий
Поделиться на других сайтах

23 часа назад, Yoda сказал:

 

Я бы убил тех, кто придумал её! Я в вебмастере добавлял ссылки, это жопа, каждый раз нужно выбирать эти долбанные картинки, лучше обычная капча... =)

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу