COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Ошибки в Robots или Краулинговый бюджет поискового робота


Kassiel

Recommended Posts

Здравствуйте. Наткнулся на статью в сайте, где в  пункте 7 идет речь о работе с краулинговым бюджетом, а именно, что нужно скрывать страницы не нужные для индексации. Такие как: страницы различных сортировок по цене, рейтингу, количеству товаров на странице.

 

Не могли бы Вы посмотреть робот моего сайта. Может найдете ошибки, может лучше что-то исправить или добавить.

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Allow: /catalog
Allow: /*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*/*.css
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

Sitemap: http://mebliv7.com.ua/sitemap.xml

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Allow: /catalog
Allow: /*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*/*.css
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: mebliv7.com.ua
Sitemap: http://mebliv7.com.ua/sitemap.xml

 

Может ли это быть связано с ошибками сканирования, те что на фото:

Скрытый текст

736936550_.thumb.JPG.830745dc3b8f4354c6cf20cc4f98f94d.JPG

 

Заранее большое спасибо за ответы!!!

Ссылка на комментарий
Поделиться на других сайтах

Хорошо, спасибо.

1) А что скажете по поводу робота? Ничего не нужно изменять или стоить еще что-то открыть?

2) Как убрать те адреса страниц которых нет на сайте, что бы убрать ошибки?

Ссылка на комментарий
Поделиться на других сайтах

35 минут назад, Kassiel сказал:

1) А что скажете по поводу робота? Ничего не нужно изменять или стоить еще что-то открыть?

Проверить через Инструмент проверки файла robots.txt в Search Console - Сканирование  не блокируется ли ничего лишнего на страницах сайта (к примеру главная, категория, товар)

39 минут назад, Kassiel сказал:

2) Как убрать те адреса страниц которых нет на сайте, что бы убрать ошибки?

Если мешает то через Удалить URL-адреса в Search Console - Индекс Google

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу