Robots


Garik
 Поделиться

Рекомендуемые сообщения

Здравствуйте. Обязательно ли создавать файл robots? Если да, то на что в нем указывать? Я имею ввиду, что запрещать или наоборот, на что указывать? Спасибо.

Ссылка на комментарий
Поделиться на других сайтах

Создавать обьязательно!
Примеров в сети очень много и обьяснений тоже.
Что запрещать, что разрешать зависит от того что Вы хотите чтобы индексировали ПС, а что нет, и от версии движка немного.

Ссылка на комментарий
Поделиться на других сайтах

3 минуты назад, Victor_Pasyk сказал:

Создавать обьязательно!
Примеров в сети очень много и обьяснений тоже.
Что запрещать, что разрешать зависит от того что Вы хотите чтобы индексировали ПС, а что нет, и от версии движка немного.

 

Примеров то много, какой лучше? Версия 2.0.3.1

Ссылка на комментарий
Поделиться на других сайтах

7 минут назад, Victor_Pasyk сказал:

рсию:


User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring

User-agent: Yandex

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /wishlist
Disallow: /create-account
Disallow: /compare-products
Disallow: /create-affiliate-account
Disallow: /my-account
Disallow: /edit-account
Disallow: /change-password
Disallow: /address-book
Disallow: /wishlist
Disallow: /order-history
Disallow: /reward-points
Disallow: /returns
Disallow: /transactions
Disallow: /newsletter
Disallow: /index.php?route=account/recurring


Host: site.ru

Я конечно, может не все понимаю, здесь упоминается Яндекс, а Гугл должен упоминаться? И кроме site.ru, менять ничего не надо?


site.ru

 

Ссылка на комментарий
Поделиться на других сайтах

User-agent: *

Тут мы обращаемся ко всем ПС, в том числе и Гуглу.

 

User-agent: Yandex

А тут именно к роботу Яндекса, почему так? Потому что он особенный.

 

Кроме site.ru ничего менять не надо, если не хотите запретить какие-то другие страницы, возможно есть какие-то модули страницы которых не хотите индексировать, тогда надо подправить.

Ссылка на комментарий
Поделиться на других сайтах

Спасибо. А если надо будет поставить запрет, это лучше сделать в самом начале или в конце?

Ссылка на комментарий
Поделиться на других сайтах

2 минуты назад, Garik сказал:

Спасибо. А если надо будет поставить запрет, это лучше сделать в самом начале или в конце?

Это не играет никакой роли, тут нет приоритетности.

Ссылка на комментарий
Поделиться на других сайтах

Только что, Victor_Pasyk сказал:

Это не играет никакой роли, тут нет приоритетности.

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

Ссылка на комментарий
Поделиться на других сайтах

6 минут назад, Garik сказал:

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

 

Склейку домена необходимо сделать =)

Ссылка на комментарий
Поделиться на других сайтах

8 минут назад, Garik сказал:

 

Ясно. Вот это я тему затронул, чем дальше в лес, тем больше дров) Может, тогда подскажете еще насчет .htaccess. Я думаю, там менять ничего не надо? Я только его переименовал (убрал txt).

 

Ну как сказать, можно и не править. Но лучше немножко подкоректировать.
Но точно не знаю, возможно во 2 версии, уже в стандартном прописано то чего нет в 1.5.

Но чуть позже прийдется, когда задумаетесь как спрятать оригиналы изображений и т.п.

Ссылка на комментарий
Поделиться на других сайтах

Здравствуйте, еще раз. Прочитал, что robots может отличаться, если включено ЧПУ. У меня включено ЧПУ и SeoPro установлено (включено). Robots должен быть как выше написали или с изменениями? Спасибо.

Ссылка на комментарий
Поделиться на других сайтах

30 минут назад, Garik сказал:

Здравствуйте, еще раз. Прочитал, что robots может отличаться, если включено ЧПУ. У меня включено ЧПУ и SeoPro установлено (включено). Robots должен быть как выше написали или с изменениями? Спасибо.

Привет. Это как раз и есть пример для включенного ЧПУ.

Ссылка на комментарий
Поделиться на других сайтах

21 час назад, Victor_Pasyk сказал:

Вот под 2 версию:

не обманывайте человека

если у него наша сборка то то что вы указали явно не подходит

причем со сборкой идет правильный вариант

21 час назад, Victor_Pasyk сказал:

А тут именно к роботу Яндекса, почему так? Потому что он особенный.

уже он слава богу хавает все дериктивы из нашего стандартного роботса

хост остальные не учтут на то его и указывают в самом низу

да и он уже не так актуален потому как яндекс тоже теперь дает в вебмастере возможность указывать главный домен

 

Ссылка на комментарий
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сейчас и зарегистрироваться позже. Если у вас есть учётная запись, войдите, чтобы публиковать под своей учётной записью.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Показать вместо этого как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Нельзя вставлять изображения напрямую. Загрузите или вставьте изображения по URL.

 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу