Как закрыть сайт от индексации поисковыми системами?

[Ratnik]

Сайт в разработке и я не желаю, что бы поисковые системы индексировали страницы моего сайта.

Можно ли отключить индексации всего сайта сразу? Или надо в каждом товаре, каждой категории ставить поле индексация = выключено.

Если можно, то разжуйте пожалуйста для нуба по по пунктам, куда и что сделать.

И как потом включить индексацию, когда сайт будет готов!

Огромное спасибо!

[RHCk]

23 минуты назад, Ratnik сказал:

можно

В robots.txt оставьте две строки:

User-agent: *
Disallow: /

 

[Ratnik]

А всё что в нём есть оставить или удалить?

или прост в самое начало добавить эти строки и получим вот такой вид:

Скрытый текст

User-agent: *
Disallow: /
User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Не могли бы Вы посмотреть правильно или нет? Спасибо!

[RHCk]

Тот robots.txt, который был установлен с движком, замените на новый, в котором две строки.

Как закончите магазиностроение, поменяете их обратно.

49 минут назад, Ratnik сказал:

Не могли бы Вы посмотреть

Оставьте две верхние строки, остальное удалите.

 

Просто смотреть смысла нет, нужно знать какие модули установлены и добавляют ли они страницы (как например фильтры), которые нужно закрыть от индексации.

И в вашем случае, если настроен SSL, не хватает директивы Host в секции для Яндекса.

[Ratnik]

6 минут назад, RHCk сказал:

Тот robots.txt, который был установлен с движком, замените на новый, в котором две строки.

Как закончите магазиностроение, поменяете их обратно.

Оставьте две верхние строки, остальное удалите.

 

Просто смотреть смысла нет, нужно знать какие модули установлены и добавляют ли они страницы (как например фильтры), которые нужно закрыть от индексации.

И в вашем случае, если настроен SSL, не хватает директивы Host в секции для Яндекса.

Спасибо!

Про директиву Host я конечно не понял :), но пока не стану этим загружаться, как буду готов включить индексацию, тогда и буду вникать да разбираться.

Еще раз спасибо!

[RHCk]

8 минут назад, Ratnik сказал:

Про директиву Host

Здесь.