Ошибки в Robots или Краулинговый бюджет поискового робота

[Kassiel]

Здравствуйте. Наткнулся на статью в сайте, где в  пункте 7 идет речь о работе с краулинговым бюджетом, а именно, что нужно скрывать страницы не нужные для индексации. Такие как: страницы различных сортировок по цене, рейтингу, количеству товаров на странице.

 

Не могли бы Вы посмотреть робот моего сайта. Может найдете ошибки, может лучше что-то исправить или добавить.

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Allow: /catalog
Allow: /*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*/*.css
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

Sitemap: http://mebliv7.com.ua/sitemap.xml

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Allow: /catalog
Allow: /*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*/*.css
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: mebliv7.com.ua
Sitemap: http://mebliv7.com.ua/sitemap.xml

 

Может ли это быть связано с ошибками сканирования, те что на фото:

Скрытый текст

 

Заранее большое спасибо за ответы!!!

[Koss]

3 часа назад, Kassiel сказал:

Может ли это быть связано с ошибками сканирования, те что на фото:

Ошибки те что на фото связаны с тем таких страниц на сайте не существует!

Нужно сначала определится с структурой сайта и названиями категорий и подкатегорий, а только потом открывать его роботам и скармливать в Search Console.

 

О краулинг бюджете я бы вообще подумал в последнюю очередь и не при 1000 товаров.

С головой хватает стандартного роботс + открыть для гугла скрипты и стили.

В этой нише при текущей конкуренции и марже надеятся на органический траффик новому сайту глупо - нужно заполнять сайт товарами и детальным описанием и фото, делать нормальный дизайн без летающих стульев и диванов на фоне и запускать рекламу.

[Kassiel]

Хорошо, спасибо.

1) А что скажете по поводу робота? Ничего не нужно изменять или стоить еще что-то открыть?

2) Как убрать те адреса страниц которых нет на сайте, что бы убрать ошибки?

[Koss]

35 минут назад, Kassiel сказал:

1) А что скажете по поводу робота? Ничего не нужно изменять или стоить еще что-то открыть?

Проверить через Инструмент проверки файла robots.txt в Search Console - Сканирование  не блокируется ли ничего лишнего на страницах сайта (к примеру главная, категория, товар)

39 минут назад, Kassiel сказал:

2) Как убрать те адреса страниц которых нет на сайте, что бы убрать ошибки?

Если мешает то через Удалить URL-адреса в Search Console - Индекс Google

[Kassiel]

Спасибо