Это популярное сообщение. sten Опубликовано: августа 28, 2014 Это популярное сообщение. Жалоба Поделиться Опубликовано: августа 28, 2014 Уважаемые форумчане, выкладываю на Ваш авторитетный суд вот такой роботс: User-Agent: * # Запрет индексации всего сайта Disallow: / # Индексация главной страницы Allow: /$ # Индексировать категорию katalog и все, что в ней находится Allow: /katalog # Запрет индексировать динамические страницы Disallow: /katalog/*?* Disallow: /katalog/*&* Disallow: /katalog/*php* # Запрет индексировать товары, находящиеся в подкатегории novinki Disallow: /katalog/novinki/* # Индексировать информационные страницы Allow: /about.html Allow: /informaciya-o-dostavke.html Allow: /politika-bezopasnosti.html Allow: /usloviya-soglasheniya.html Allow: /blog Allow: /actions Allow: /contacts Allow: /sitemap.xml Clean-param: tracking User-agent: Yandex # Запрет индексации всего сайта Disallow: / # Индексация главной страницы Allow: /$ # Индексировать категорию katalog и все, что в ней находится Allow: /katalog # Запрет индексировать динамические страницы Disallow: /katalog/*?* Disallow: /katalog/*&* Disallow: /katalog/*php* # Запрет индексировать товары, находящиеся в подкатегории novinki Disallow: /katalog/novinki/* # Индексировать информационные страницы Allow: /about.html Allow: /informaciya-o-dostavke.html Allow: /politika-bezopasnosti.html Allow: /usloviya-soglasheniya.html Allow: /blog Allow: /actions Allow: /contacts Allow: /sitemap.xml Clean-param: tracking Host: site.ru Sitemap: http://site.ru/sitemap.xmlСкажите пожалуйста, насколько правильна такая политика, сначала все запретить и потом уже кое что открыть? И не забыл ли чего открыть? Заранее спасибо за Ваше мнение. StavEXpert 1 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Это популярное сообщение. sten Опубликовано: августа 28, 2014 Автор Это популярное сообщение. Жалоба Поделиться Опубликовано: августа 28, 2014 На всякий пожарный прикладываю .htaccess: #Options +FollowSymlinks # Запретить листинг директорий Options -Indexes # Закрыть доступ к файлам шаблонов <FilesMatch "\.(tpl|ini|log|txt)"> Order deny,allow Deny from all </FilesMatch> # Необходимо для ЧПУ RewriteEngine On # If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ # Редирект c www на без www RewriteCond %{HTTP_HOST} ^www.site.ru RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L] # Редирект для главной (с /index.php на /) RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/ RewriteRule ^index\.html$ / [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ / [R=301,L] RewriteBase / RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L] RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L] RewriteRule ^download/(.*) /index.php?route=error/not_found [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css) RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA] ### Additional Settings that may need to be enabled for some servers ### Uncomment the commands by removing the # sign in front of it. ### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that. # 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it: # php_flag register_globals off # 2. If your cart has magic quotes enabled, This may work to disable it: # php_flag magic_quotes_gpc Off # 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try # php_value upload_max_filesize 999M # 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value post_max_size 999M # 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value max_execution_time 200 # 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value max_input_time 200 # 7. disable open_basedir limitations # php_admin_value open_basedir none # Предотвращение отображения сообщений о запрете доступа ErrorDocument 500 /index.php ErrorDocument 404 /index.php ErrorDocument 403 /index.php ErrorDocument 401 /index.php StavEXpert 1 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
StavEXpert Опубликовано: августа 28, 2014 Жалоба Поделиться Опубликовано: августа 28, 2014 Автору спс за интересную и актуальную (как минимум для нас двоих) тему. Сам с SEO никак не дружу, поэтому тоже присоединяюсь к вопросам от sten Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
sten Опубликовано: августа 28, 2014 Автор Жалоба Поделиться Опубликовано: августа 28, 2014 так-же в папку Downloads положил вот такой .htaccess: # Запрет на загрузку файлов Order allow,deny Deny from all <FilesMatch "\.(ico|gif|jpg|jpeg|png|js|css|yml|xml)"> Allow from all </FilesMatch> Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
admin Опубликовано: августа 28, 2014 Жалоба Поделиться Опубликовано: августа 28, 2014 главный вопрос чем не устраивает стандартный robots.txt который идет в инсталяторе ?у вас с ним хоть один дубль появился при включенном seo_pro ? Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
sten Опубликовано: августа 28, 2014 Автор Жалоба Поделиться Опубликовано: августа 28, 2014 главный вопрос чем не устраивает стандартный robots.txt который идет в инсталяторе ? у вас с ним хоть один дубль появился при включенном seo_pro ? Объяснюсь: Во первых память у меня дырявая, что то поменял на странице в плане ссылок, а в роботс не внес корректировки - косяк. А так вроде получается все закрыто кроме каталога (который я не трогаю). Второе - это альтернатива, которая кмк должна быть. Тут ведь от обратного все идет - все закрыто, и только то, что нужно, открываем. Ну и в третьих - этот роботс вроде как попроще получился к прочтению неподготовленным человеком. Все вышесказанное имхо и не претендует на правильность, почему и спрашиваю, что думают форумчане. п.с. А проверить сайт на дубли со старым роботс не успел, заменил на этот. Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Это популярное сообщение. admin Опубликовано: августа 28, 2014 Это популярное сообщение. Жалоба Поделиться Опубликовано: августа 28, 2014 ну логика конечно какая то в ваших словах есть но стандартный он универсален плюс в сборке стоит сео фикс который убирает все сортировки и пагинации из индекса поэтому я и удивился зачем использовать велосипед если есть уже мотоцикл :-)но отговаривать вас не буду так как на первый взгляд не вреда не пользы ваши изменения не принесут StavEXpert 1 Цитата Ссылка на комментарий Поделиться на других сайтах Больше вариантов поделиться...
Рекомендуемые сообщения
Присоединяйтесь к обсуждению
Вы можете опубликовать сейчас и зарегистрироваться позже. Если у вас есть учётная запись, войдите, чтобы публиковать под своей учётной записью.