Robots для OCShop

[sten]

Уважаемые форумчане, выкладываю на Ваш авторитетный суд вот такой роботс:

User-Agent: *

# Запрет индексации всего сайта

Disallow: /


# Индексация главной страницы

Allow: /$


# Индексировать категорию katalog и все, что в ней находится

Allow: /katalog


# Запрет индексировать динамические страницы

Disallow: /katalog/*?*

Disallow: /katalog/*&*

Disallow: /katalog/*php*


# Запрет индексировать товары, находящиеся в подкатегории novinki

Disallow: /katalog/novinki/*


# Индексировать информационные страницы

Allow: /about.html

Allow: /informaciya-o-dostavke.html

Allow: /politika-bezopasnosti.html

Allow: /usloviya-soglasheniya.html

Allow: /blog

Allow: /actions

Allow: /contacts

Allow: /sitemap.xml


Clean-param: tracking


User-agent: Yandex

# Запрет индексации всего сайта

Disallow: /


# Индексация главной страницы

Allow: /$


# Индексировать категорию katalog и все, что в ней находится

Allow: /katalog


# Запрет индексировать динамические страницы

Disallow: /katalog/*?*

Disallow: /katalog/*&*

Disallow: /katalog/*php*


# Запрет индексировать товары, находящиеся в подкатегории novinki

Disallow: /katalog/novinki/*


# Индексировать информационные страницы

Allow: /about.html

Allow: /informaciya-o-dostavke.html

Allow: /politika-bezopasnosti.html

Allow: /usloviya-soglasheniya.html

Allow: /blog

Allow: /actions

Allow: /contacts

Allow: /sitemap.xml


Clean-param: tracking


Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Скажите пожалуйста, насколько правильна такая политика, сначала все запретить и потом уже кое что открыть? И не забыл ли чего открыть? Заранее спасибо за Ваше мнение.

[sten]

На всякий пожарный прикладываю .htaccess:

#Options +FollowSymlinks


# Запретить листинг директорий

Options -Indexes


# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

 Order deny,allow

 Deny from all

</FilesMatch>


# Необходимо для ЧПУ

RewriteEngine On


# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/


# Редирект c www на без www

RewriteCond %{HTTP_HOST} ^www.site.ru

RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]


# Редирект для главной (с /index.php на /)

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/

RewriteRule ^index\.html$ / [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ / [R=301,L]


RewriteBase /

RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]

RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]

RewriteRule ^download/(.*) /index.php?route=error/not_found [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]


### Additional Settings that may need to be enabled for some servers 

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.


# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off


# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off


# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try

# php_value upload_max_filesize 999M


# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields

# php_value post_max_size 999M


# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields

# php_value max_execution_time 200


# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields

# php_value max_input_time 200


# 7. disable open_basedir limitations

# php_admin_value open_basedir none


# Предотвращение отображения сообщений о запрете доступа

ErrorDocument 500 /index.php

ErrorDocument 404 /index.php

ErrorDocument 403 /index.php

ErrorDocument 401 /index.php

[StavEXpert]

Автору спс за интересную и актуальную (как минимум для нас двоих) тему. 

Сам с SEO никак не дружу, поэтому тоже присоединяюсь к вопросам от sten

[sten]

так-же в папку Downloads положил вот такой .htaccess:

# Запрет на загрузку файлов

Order allow,deny

Deny from all

<FilesMatch "\.(ico|gif|jpg|jpeg|png|js|css|yml|xml)">

Allow from all

</FilesMatch>

[admin]

главный вопрос чем не устраивает стандартный robots.txt который идет в инсталяторе ?

у вас с ним хоть один дубль появился при включенном seo_pro ?

[sten]

главный вопрос чем не устраивает стандартный robots.txt который идет в инсталяторе ?

у вас с ним хоть один дубль появился при включенном seo_pro ?

Объяснюсь: Во первых память у меня дырявая, что то поменял на странице в плане ссылок, а в роботс не внес корректировки - косяк. А так вроде получается все закрыто кроме каталога (который я не трогаю).

Второе - это альтернатива, которая кмк должна быть. Тут ведь от обратного все идет - все закрыто, и только то, что нужно, открываем.

Ну и в третьих - этот роботс вроде как попроще получился к прочтению неподготовленным человеком.

Все вышесказанное имхо и не претендует на правильность, почему и спрашиваю, что думают форумчане.

 

п.с. А проверить сайт на дубли со старым роботс не успел, заменил на этот.

[admin]

ну логика конечно какая то в ваших словах есть но стандартный он универсален плюс в сборке стоит сео фикс который убирает все сортировки и пагинации из индекса поэтому я и удивился зачем использовать велосипед если есть уже мотоцикл :-)

но отговаривать вас не буду так как на первый взгляд не вреда не пользы ваши изменения не принесут