Нагрузка на сервер

[Tom]

На днях довелось лицезреть следующею проблему,Хостинг стал жаловаться на возросшую нагрузку .При чём жалобы плавно переросли в угрозы удалить аккаунт.При беглом осмотре удалось установить что огромное количество запросов  (приблизительно 3-5 тыс за 10-15 мин)  создают поисковые боты яндекса и гугла.При чём шарятся они судя по всему по фильтру,так как большая часть запрсов выглядит как 

"GET /название категории/?filter=

фильтров никаких в магазине нет)Может я не верно понимаю этот момент? Но за 10 часов набежало более 35 тыс запросов именно по такому пути.И нагрузку эти запросы создают не малую.

[sten]

наверное поэтому как правило все закрывают доступ ботов к фильтру через htaccess.

[Tom]

Закрыл через роботс.Вроде как помогло.Нагрузка упала почти в трое.

[StavEXpert]

Закрыл через роботс. Вроде как помогло.Нагрузка упала почти в трое.

Том, а не поделитесь капелькой мудрости?

Как смогли отследить нагрузку? Какое ПО или какие команды через SSH?

Что прописали в robots.txt?

Бьюсь с непонятной нагрузкой уже месяц... Сайт тут 

[Tom]

Том, а не поделитесь капелькой мудрости?

 

 

вот так

 

А что непонятного. Берете логи . Гуглите - как анализировать логи. И вперед.