Проблема с Robots.txt

[antonchik777]

Всем привет. Обращаюсь за помощью к старожилам сайта и просто к всезнающим. Возникли какие-то проблемы с индексацией товаров и с индексацией сайта вообще, а именно: в описании товара - "не отображается из-за ограничений в robots.txt (гугл), а яндекс вообще товар в индекс не выводит. Я человек не сведущий в роботс и т.д. если прямо говорить. Сайт: Alancosmetics.by

выкладываю свой роботс. Я в нём вроде ничего не менял, но может кто увидит проблему? Ещё в яндекс вебмастер пишет, что не хватает какого-то HOST. Может в нём проблема? Спасибо за помощь.

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword                           
Disallow: /*?product/product&product_id=       
Disallow: /*?product/category&path=            
Disallow: /*?route=common/home                 
Disallow: /*?product_id

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword                           
Disallow: /*?product/product&product_id=       
Disallow: /*?product/category&path=            
Disallow: /*?route=common/home                 
Disallow: /*?product_id
Clean-param: tracking

robots.txt

[RHCk]

Посмотрите сайт программой NetpeakSpider, всё увидите.

Страницы сайта есть в индексе Яндекса, чтобы это увидеть наберите в строке поиска "site:alancosmetics.by".

Sitemap у вас отдается фидом, проверьте соответствие содержимого отдаваемого количеству товаров в каталоге сайта.

 

Ещё в товарах вы используете теги (метки). Есть ли от них польза для навигации, вы можете посмотреть в вебвизоре метрики. Другой пользы от них нет, ссылки тегов (меток) закрыты от индексации.

Поэтому, на мой взгляд, если вы хотите сделать удобными навигацию и подбор товара, просто настройте фильтр.

 

Вы с сайта ссылочки продаёте? Зайдите сюда - bing.com, в поиске наберите "linkfromdomain:alancosmetics.by"

[antonchik777]

Спасибо за ответ. Но простите, что значит sitemap "отдаётся фидом"? ps. всё сложно, согласен. И из всего сказанного рекомендуете удалить теги (метки)?

[RHCk]

Отдается фидом, значит, что ПС получает от вас ссылку не на статичный файл sitemap.xml, а на динамическое содержимое, т.е. вы добавили товар в каталог, а он уже автоматически отдается ПС.

На своих сайтах теги не использую. Если вы посмотрите свой сайт через NetpeakSpider, то увидите какую они создают избыточную ссылочную массу, которая по большей части бесполезна.

Сделайте полный бэкап сайта и удалите. Посмотрите, не устроит - вернете:)

[antonchik777]

т.е необходимо может sitemap создать?

[antonchik777]

И как убрать эту ссылочную массу?

[RHCk]

5 минут назад, antonchik777 сказал:

т.е необходимо может sitemap создать?

Что касается sitemap у вас работает корректно. Вам нужно проверить, соответствует ли количество товаров в фиде (alancosmetics.by/index.php?route=feed/fast_sitemap) количеству товаров в каталоге сайта

4 минуты назад, antonchik777 сказал:

И как убрать эту ссылочную массу?

Убрать теги

 

Ещё для версии 1.5.Х в robots.txt открывал доступ к стилям и js, чтобы гугл видел сайт так, как его видят посетители.

[antonchik777]

Ок, с тегами всё понял, а вот кол-во товаром, в каталоге-то понятно, а в фиде где их посчитать)?

[RHCk]

3 минуты назад, antonchik777 сказал:

а в фиде где их посчитать

По ссылочкам

[antonchik777]

2 минуты назад, RHCk сказал:

По ссылочкам

 

[antonchik777]

Этот файл где находится, подскажите?

[RHCk]

Только что, antonchik777 сказал:

Этот файл где находится, подскажите?

alancosmetics.by/index.php?route=feed/fast_sitemap

[antonchik777]

Подсчитал на вскидку соответствует. Спасибо.

А подскажите Robots.txt выше настроен верно? И стоит ли добавлять дерективу Host?

[RHCk]

По желанию, на ходовые качества вряд ли повлияет.

 

Ссылку-фид необходимо отдать Яндексу в вебмастере, в разделе sitemap.

Для Гугла sitemap с ссылками на картинки. Посмотрите модуль, который у вас отвечает за sitemap, возможно там есть фид для Гугла. Его тоже необходимо отдать в вебмастере Гугла.

[antonchik777]

т. е. эту ссылку в вебмастере закинуть и в гугл и в яндекс? alancosmetics.by/index.php?route=feed/fast_sitemap Я правильно понял?

[admin]

1 час назад, antonchik777 сказал:

т. е. эту ссылку в вебмастере закинуть и в гугл и в яндекс? alancosmetics.by/index.php?route=feed/fast_sitemap Я правильно понял?

нет

для яндекса там своя ссылка

в админке посмотрите

[antonchik777]

Простите, в админке сайта?

[RHCk]

9 минут назад, antonchik777 сказал:

в админке сайта

Да. Ищите модуль (Дополнения - Модули... как-то так должно быть), в названии которого есть Sitemap (или SitemapPro). Поправьте, если ошибаюсь, нет под рукой 1.5.6.4.1

[Blade]

Подскажите по такому вопросу.

У меня в файле роботс были строки

Disallow: /*?page=
Disallow: /*&page=

Провел тест в netpeak spider и увидел что куча страниц с этими значениями не попадает в индекс.

убрал из файла.

Нужны ли они в роботс или нет ?

Еще вопрос по Disallow: /*search

Правильно или нет ? Нужен он в файле или удалить ?

 

Полный файл такой.Если не трудно, подскажите что в нем лишнее.Потому как куча страниц не попадает в индекс и возможно из за моих ошибок в этом файле.

Скрытый текст

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /change-password
Disallow: /newsletter
Disallow: /edit-account
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /index.php?route=account/recurring
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Sitemap: http://st-sklad.ru/index.php?route=feed/sitemap_pro

 

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /change-password
Disallow: /newsletter
Disallow: /edit-account
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /index.php?route=account/recurring
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Host:     st-sklad.ru
Sitemap: http://st-sklad.ru/index.php?route=feed/yandex_feed

 

 

 

[admin]

А откуда они там появились?

[Blade]

Да блин нашел типа мега крутой роботс под opencart (кем то сделанный)

потом засунул не глядя, а теперь понял что зря

[admin]

Я так спросил по той причине что стандартный который идет со сборкой максимально адаптирован

 

и мы опенкарт-про не просто так

ведь отличий в плане сео в сборке очень много

 

перестаньте выдумывать велосипед мы его уже придумали за вас

[Blade]

я вам верю спасибо.заменю на ваш.

единственное - проверка гугл говорит про ошибку в роботс

Clean-param: tracking

это как то исправляется или просто не обращать внимания ?

[admin]

18 часов назад, spown сказал:

или просто не обращать внимания ?

 

[tanya_nsp]

Я поставила такую, немного добавила, картина таже. Когда генерирую сайтмап, то товары не попадают

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*account
Disallow: /*register
Disallow: /*login
Disallow: /*add
Disallow: /*order
Disallow: /*sort

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*account
Disallow: /*register
Disallow: /*login
Disallow: /*add
Disallow: /*order
Disallow: /*sort