CoolFilter и боты

[tayzer]

Здравстуйте.

Боты гугла и яндекса накинулись на кулфильтр.

В логах за сегодня более 50000 запросов, подскажите как с этим бороться.

 

66.249.75.25 - - [15/Dec/2014:16:31:07 +0300] "GET /rubrika/?coolfilter=m:27,11,19,20 HTTP/1.0" 200 16169 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.75.233 - - [15/Dec/2014:16:31:08 +0300] "GET /rubrika/?coolfilter=m:24,15,11,21 HTTP/1.0" 200 16190 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.75.233 - - [15/Dec/2014:16:31:09 +0300] "GET /rubrika/?coolfilter=m:24,23,13,21 HTTP/1.0" 200 16354 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

--

Посмотрел код, почти каждый пункт фильтра является ссылкой, жесть.

В итоге получаем мульен дублей и что нибудь негативное от поисковиков походу может прилететь за такое.

[tayzer]

Интересная логика получается, если применить фильтры то меняется не только пагинация но и урлы подкатегорий, соответственно с пагинацией, учитывая что ссылок с доп параметрами в фильтре может быть несколько десятков, получаются астрономические цифры...

А учитывая что меняются еще и адреса страниц сортировки становиться совсем грустно.

[admin]

в код посмотрите там есть ноиндекс

но в темплейте можете обернуть сам фильтр тоже в ноиндекс явно лишним не будет

[tayzer]

в код посмотрите там есть ноиндекс

но в темплейте можете обернуть сам фильтр тоже в ноиндекс явно лишним не будет

Выключил пару дней назад уже фильтр, ноиндекс к сожалению не помогает.

В роботс указал Disallow: /*coolfilter*

Посмотрел по логам боты просматривают около 200 нормальных страниц(включая разделы и пагинацию) из 50000 запросов.

[admin]

ну пагинацию и сортировки они и должны просматривать, но в индекс они их не добавят

[zyto]

Наткнулся на то же самое... Можно как-нибудь в .htaccess запретить доступ к страницам содержащим 'coolfilter'? Например, что бы выдавалась ошибка 404... Или ошибка доступа.

А то фильтр-то я отключил, но боты продолжают лезть по адресам вида сайт.ру/категория/?coolfilter=... и создают относительно большую нагрузку

 

В robots.txt прописал: Disallow: /*coolfilter*

[zyto]

Какой же молодец человек, сделавший пункты меню ссылками!

У меня теперь боты живут на сайте... Еле-еле предотвратил превышение нагрузки на хостинг.

Постоянно идут запросы типа 

[12/Jan/2015:17:07:24 +0300] "GET /категория/?coolfilter=m:15,2,14,13,7;a_17:3800,2400,4000 HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

И яндекс не обращает внимания на robots.txt (единственное что - из индекса повыкидывал подобные страницы).

 

Самое забавное что я уже неделю как отключил кулфильтр, а боты по прежнему продолжают лезть... Думаю в ближайшие месяц-два нельзя включать этот модуль.

А позже переделаю ссылки на label

[zyto]

Может есть какой-нибудь способ запретить яндексу ходить по ссылкам фильтра? (уже сейчас, когда яндекс частично проиндексировал такие ссылки, и пытается получить их содержимое).?

[admin]

а чем вас смущает хождение яндекса по фильтру ? страницы фильтра не попадают в индекс и не создают дублей но при этом дают возможность более быстрой индексации товаров так как ссылок на них становится больше

[zyto]

У меня шаред хостинг ложится от их заходов... В день по 10-20 тысяч запросов. При реальных посетителях около 30-50

[admin]

ну это какая то аномалия да и хостинг лучше уж такой сменить

не замечал таких проблем правда у меня далеко не шаред

[zyto]

Ну я по логам смотрю, реально 10-30 тысяч запросов в сутки именно к ссылкам с фильтром... Причём только от яндекса, несмотря на то, что в robots txt прописано:

User-agent: Yandex

...

Disallow: /&coolfilter*

Disallow: /?coolfilter*

[arber]

Тоже считаю это проблемой. Создается сильная нагрузка на сервер когда заходит яндекс бот, не просто нагрузка , а сайт отключается от перегрузки, хотя у меня стоит допустимая нагрузка 6%

Пробовал запретить в хостесе

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

SetEnvIfNoCase User-Agent "^Yandex" search_bot

SetEnvIfNoCase User-Agent "^Yahoo" search_bot


 <FilesMatch "^.*coolfilter\.html$">

Order Allow,Deny

Allow from all

Deny from env=search_bot

</FilesMatch>

не помогает

Единственное определил,- Нагрузка идет когда выбираешь больше одного производителя как и боты.

Что делать????  Фильтр сам то работает хорошо.

[milenius]

По прошествии месяцев поисковые роботы, всё ещё "атакуют" страницы с "coolfilter"? Или успокоились после:

[Disallow: /*coolfilter*] ?

[arber]

По прошествии месяцев поисковые роботы, всё ещё "атакуют" страницы с "coolfilter"? Или успокоились после:

[Disallow: /*coolfilter*] ?

Все равно атакуют, но больше беспокоит яндекс - своей нагрузкой. Гуг индексирует, так его не заметно. Единственное радует что яндекс индексирует раз в две недели.

[yuliakir]

а чем вас смущает хождение яндекса по фильтру ? страницы фильтра не попадают в индекс и не создают дублей но при этом дают возможность более быстрой индексации товаров так как ссылок на них становится больше

у меня тоже такая проблема, только за сегодняшние пол суток 46200 запросов, хостер ругается, требует снизить нагрузку, в начале месяца было тоже самое, хостер ограничил лимит одновременных подключений к базе данных до 1-го на пять дней, пожалуйста, подскажите, что делать.

[marswell]

Ваш кулиндекс то еще говнище. Яндекс бот сожрал проц под 92 процента. Чуть хостер не отключили. Плагин херачит агрегатные неоптимизированные запросы в базу, что множит процессы  httpd53 у апача и кладет mysql. Почему плагин не кэширует?

вот у меня запросов за 3 часа

Не хило да?

Короче добавляйте все в робот.тхт иначе будете плакать

 

Disallow: /&coolfilter*
Disallow: /*?coolfilter=