COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Robots.txt - нужно ли его модифицировать?


rize

Recommended Posts

Добрый день, Opencart 2.3 Pro тема Revolution, использую стандартный robot.txt, видел различные варианты его модификаций, подскажите, нужно ли что-то изменить\добавить:

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

 

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

В частности вопрос, нужно ли прописать ?

Host: sweetsmoke.com.ua

 

Нужно ли убрать для Google: Disallow: /catalog ?

Нужно ли убрать для Yandex: Disallow: /catalog ?

 

Если я использую Sitemap Pro, нужно ли прописывать в Robot.txt ?

Sitemap: http://sweetsmoke.com.ua/index.php?route=extension/feed/sitemap_pro

Sitemap: http://sweetsmoke.com.ua/index.php?route=extension/feed/yandex_feed

 

Какие еще параметры стоит заблокировать или разрешить ?

 

Картинки, код и логи убирайте под спойлер.

Ссылка на комментарий
Поделиться на других сайтах

34 минуты назад, rize сказал:

нужно ли прописать ?

Матчасть подробно от Гоши - здесь.

Матчасть подробно от Яши - здесь.

36 минут назад, rize сказал:

Если я использую Sitemap Pro, нужно ли прописывать в Robot.txt ?

Можно и нужно отдать фиды sitemap в панелях вебмастера ПСов.

37 минут назад, rize сказал:

Какие еще параметры стоит заблокировать или разрешить ?

Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.

Ссылка на комментарий
Поделиться на других сайтах

6 часов назад, RHCk сказал:

Матчасть подробно от Гоши - здесь.

Матчасть подробно от Яши - здесь.

Можно и нужно отдать фиды sitemap в панелях вебмастера ПСов.

Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.

Благодарю за ответ. Много раз уже мне помогали на других акаунтах.

По стандарту все-понятно.

 

А вот модули "Очень сильно зависит от дополнительно установленных модулей/фильтров/шаблонов.":

если можно в этой части - по-подробнее, хотелось бы понять где можно узнать что именно прописывать с учётом индивидуальных особенностей ?

 

Feed скормлены еще давно, просто обнаружил, что в самом Robot.txt не прописано Sitemap: и возник вопрос нужно ли дополнительно прописать.

 

Также добавил сегодня:

Скрытый текст

Allow: /catalog/view/javascript/revolution
Allow: /catalog/view/theme/revolution/image
Allow: /catalog/view/theme/revolution/stylesheet
Allow: /catalog/view/javascript
Allow: /catalog/view/image
Allow: /catalog/view/stylesheet
Allow: /catalog/view/*/javascript
Allow: /catalog/view/*/image
Allow: /catalog/view/*/stylesheet

я верно поступил ?

 

буду очень благодарен за советы!

Особенно не понятно, нужно ли неч-то подобное добавлять:

Скрытый текст

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /*route=account/login Disallow: /*route=checkout/cart
 
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?limit=
Disallow: /*&limit=

 

Избранные \ Сравнение \ Регистрация
Disallow: /compare-products
Disallow: /wishlist
Disallow: /simpleregister
Ссылка на комментарий
Поделиться на других сайтах

6 часов назад, rize сказал:

если можно в этой части - по-подробнее

Можно.

1. Картинки, код и логи убирайте под спойлер.

2. Берёте Xenu или Screaming Frog SEO Spider и прогоняете сайт. Смотрите на полученный список ссылок, закрываете лишнее.

3. Стили закрывать не нужно. Пусть ПСы видят сайт также как посетители.

Ссылка на комментарий
Поделиться на других сайтах

В 01.12.2017 at 10:08, RHCk сказал:

Можно.

1. Картинки, код и логи убирайте под спойлер.

2. Берёте Xenu или Screaming Frog SEO Spider и прогоняете сайт. Смотрите на полученный список ссылок, закрываете лишнее.

3. Стили закрывать не нужно. Пусть ПСы видят сайт также как посетители.

я правильно понимаю, что лишним можно считать подобные ссылки?

Избарное:

http://sweetsmoke.com.ua/wishlist/ 

Сравнение товаров

http://sweetsmoke.com.ua/compare-products/

 

1. Картинки, код и логи убирайте под спойлер.

Модуль SEO CMS - случайно не делает этого? подскажите каким модулем это можно реализовать ?

 

Ссылка на комментарий
Поделиться на других сайтах

  • RHCk changed the title to Robots.txt - нужно ли его модифицировать?

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу