Robots.txt - нужно ли его модифицировать?

[rize]

Добрый день, Opencart 2.3 Pro тема Revolution, использую стандартный robot.txt, видел различные варианты его модификаций, подскажите, нужно ли что-то изменить\добавить:

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

 

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

В частности вопрос, нужно ли прописать ?

Host: sweetsmoke.com.ua

 

Нужно ли убрать для Google: Disallow: /catalog ?

Нужно ли убрать для Yandex: Disallow: /catalog ?

 

Если я использую Sitemap Pro, нужно ли прописывать в Robot.txt ?

Sitemap: http://sweetsmoke.com.ua/index.php?route=extension/feed/sitemap_pro

Sitemap: http://sweetsmoke.com.ua/index.php?route=extension/feed/yandex_feed

 

Какие еще параметры стоит заблокировать или разрешить ?

 

Картинки, код и логи убирайте под спойлер.

[RHCk]

34 минуты назад, rize сказал:

нужно ли прописать ?

Матчасть подробно от Гоши - здесь.

Матчасть подробно от Яши - здесь.

36 минут назад, rize сказал:

Если я использую Sitemap Pro, нужно ли прописывать в Robot.txt ?

Можно и нужно отдать фиды sitemap в панелях вебмастера ПСов.

37 минут назад, rize сказал:

Какие еще параметры стоит заблокировать или разрешить ?

Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.

[rize]

6 часов назад, RHCk сказал:

Матчасть подробно от Гоши - здесь.

Матчасть подробно от Яши - здесь.

Можно и нужно отдать фиды sitemap в панелях вебмастера ПСов.

Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.

Благодарю за ответ. Много раз уже мне помогали на других акаунтах.

По стандарту все-понятно.

 

А вот модули "Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.":

если можно в этой части - по-подробнее, хотелось бы понять где можно узнать что именно прописывать с учётом индивидуальных особенностей ?

 

Feed скормлены еще давно, просто обнаружил, что в самом Robot.txt не прописано Sitemap: и возник вопрос нужно ли дополнительно прописать.

 

Также добавил сегодня:

Скрытый текст

Allow: /catalog/view/javascript/revolution
Allow: /catalog/view/theme/revolution/image
Allow: /catalog/view/theme/revolution/stylesheet
Allow: /catalog/view/javascript
Allow: /catalog/view/image
Allow: /catalog/view/stylesheet
Allow: /catalog/view/*/javascript
Allow: /catalog/view/*/image
Allow: /catalog/view/*/stylesheet

я верно поступил ?

 

буду очень благодарен за советы!

Особенно не понятно, нужно ли неч-то подобное добавлять:

Скрытый текст

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

Disallow: /*route=account/login Disallow: /*route=checkout/cart

 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?limit=

Disallow: /*&limit=

 

Избранные \ Сравнение \ Регистрация

Disallow: /compare-products

Disallow: /wishlist

Disallow: /simpleregister

[RHCk]

6 часов назад, rize сказал:

если можно в этой части - по-подробнее

Можно.

1. Картинки, код и логи убирайте под спойлер.

2. Берёте Xenu или Screaming Frog SEO Spider и прогоняете сайт. Смотрите на полученный список ссылок, закрываете лишнее.

3. Стили закрывать не нужно. Пусть ПСы видят сайт также как посетители.

[rize]

В 01.12.2017 at 10:08, RHCk сказал:

Можно.

1. Картинки, код и логи убирайте под спойлер.

2. Берёте Xenu или Screaming Frog SEO Spider и прогоняете сайт. Смотрите на полученный список ссылок, закрываете лишнее.

3. Стили закрывать не нужно. Пусть ПСы видят сайт также как посетители.

я правильно понимаю, что лишним можно считать подобные ссылки?

Избарное:

http://sweetsmoke.com.ua/wishlist/ 

Сравнение товаров

http://sweetsmoke.com.ua/compare-products/

 

1. Картинки, код и логи убирайте под спойлер.

Модуль SEO CMS - случайно не делает этого? подскажите каким модулем это можно реализовать ?