COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Robots

Garik

Автор: ,
в SEO

 Share

Recommended Posts

Garik Newbie

Garik

Опубликовано:
Опубликовано:

Здравствуйте. Обязательно ли создавать файл robots? Если да, то на что в нем указывать? Я имею ввиду, что запрещать или наоборот, на что указывать? Спасибо.

Ссылка на комментарий
Поделиться на других сайтах
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
Опубликовано:

Создавать обьязательно!
Примеров в сети очень много и обьяснений тоже.
Что запрещать, что разрешать зависит от того что Вы хотите чтобы индексировали ПС, а что нет, и от версии движка немного.

Ссылка на комментарий
Поделиться на других сайтах
Garik Newbie

Garik

Опубликовано:
  • Автор
Опубликовано:
3 минуты назад, Victor_Pasyk сказал:

Создавать обьязательно!
Примеров в сети очень много и обьяснений тоже.
Что запрещать, что разрешать зависит от того что Вы хотите чтобы индексировали ПС, а что нет, и от версии движка немного.

 

Примеров то много, какой лучше? Версия 2.0.3.1

Ссылка на комментарий
Поделиться на других сайтах
  • Это популярное сообщение.
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
  • Это популярное сообщение.
Опубликовано:
2 минуты назад, Garik сказал:

 

Примеров то много, какой лучше? Версия 2.0.3.1

 

Вот под 2 версию: 

User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring

User-agent: Yandex

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring


Host: site.ru

 

Ссылка на комментарий
Поделиться на других сайтах
Garik Newbie

Garik

Опубликовано:
  • Автор
Опубликовано:
7 минут назад, Victor_Pasyk сказал:

рсию: 


User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring

User-agent: Yandex

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring


Host: site.ru

Я конечно, может не все понимаю, здесь упоминается Яндекс, а Гугл должен упоминаться? И кроме site.ru, менять ничего не надо? 


site.ru

 

Ссылка на комментарий
Поделиться на других сайтах
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
Опубликовано: 
User-agent: *

Тут мы обращаемся ко всем ПС, в том числе и Гуглу.

  

User-agent: Yandex

А тут именно к роботу Яндекса, почему так? Потому что он особенный.

 

Кроме site.ru ничего менять не надо, если не хотите запретить какие-то другие страницы, возможно есть какие-то модули страницы которых не хотите индексировать, тогда надо подправить.

Ссылка на комментарий
Поделиться на других сайтах
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
Опубликовано:
2 минуты назад, Garik сказал:

Спасибо. А если надо будет поставить запрет, это лучше сделать в самом начале или в конце?

Это не играет никакой роли, тут нет приоритетности.

Ссылка на комментарий
Поделиться на других сайтах
Garik Newbie

Garik

Опубликовано:
  • Автор
Опубликовано:
Только что, Victor_Pasyk сказал:

Это не играет никакой роли, тут нет приоритетности.

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

Ссылка на комментарий
Поделиться на других сайтах
WarStyle Contributor

WarStyle

Опубликовано:
Опубликовано:
6 минут назад, Garik сказал:

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

 

Склейку домена необходимо сделать =)

Ссылка на комментарий
Поделиться на других сайтах
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
Опубликовано:
8 минут назад, Garik сказал:

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

 

Ну как сказать, можно и не править. Но лучше немножко подкоректировать.
Но точно не знаю, возможно во 2 версии, уже в стандартном прописано то чего нет в 1.5.

Но чуть позже прийдется, когда задумаетесь как спрятать оригиналы изображений и т.п.

Ссылка на комментарий
Поделиться на других сайтах
Garik Newbie

Garik

Опубликовано:
  • Автор
Опубликовано:

Здравствуйте, еще раз. Прочитал, что robots может отличаться, если включено ЧПУ. У меня включено ЧПУ и SeoPro установлено (включено). Robots должен быть как выше написали или с изменениями? Спасибо.

Ссылка на комментарий
Поделиться на других сайтах
Victor_Pasyk Newbie

Victor_Pasyk

Опубликовано:
Опубликовано:
30 минут назад, Garik сказал:

Здравствуйте, еще раз. Прочитал, что robots может отличаться, если включено ЧПУ. У меня включено ЧПУ и SeoPro установлено (включено). Robots должен быть как выше написали или с изменениями? Спасибо.

Привет. Это как раз и есть пример для включенного ЧПУ.

Ссылка на комментарий
Поделиться на других сайтах
admin Collaborator

admin

Опубликовано:
Опубликовано:
21 час назад, Victor_Pasyk сказал:

Вот под 2 версию:

не обманывайте человека

если у него наша сборка то то что вы указали явно не подходит

причем со сборкой идет правильный вариант

21 час назад, Victor_Pasyk сказал:

А тут именно к роботу Яндекса, почему так? Потому что он особенный.

уже он слава богу хавает все дериктивы из нашего стандартного роботса

хост остальные не учтут на то его и указывают в самом низу

да и он уже не так актуален потому как яндекс тоже теперь дает в вебмастере возможность указывать главный домен

 

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Перейти к списку тем

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу