COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Проблема с Robots.txt


antonchik777

Recommended Posts

Всем привет. Обращаюсь за помощью к старожилам сайта и просто к всезнающим. Возникли какие-то проблемы с индексацией товаров и с индексацией сайта вообще, а именно: в описании товара - "не отображается из-за ограничений в robots.txt (гугл), а яндекс вообще товар в индекс не выводит. Я человек не сведущий в роботс и т.д. если прямо говорить. Сайт: Alancosmetics.by

выкладываю свой роботс. Я в нём вроде ничего не менял, но может кто увидит проблему? Ещё в яндекс вебмастер пишет, что не хватает какого-то HOST. Может в нём проблема? Спасибо за помощь.

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword                           
Disallow: /*?product/product&product_id=       
Disallow: /*?product/category&path=            
Disallow: /*?route=common/home                 
Disallow: /*?product_id

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword                           
Disallow: /*?product/product&product_id=       
Disallow: /*?product/category&path=            
Disallow: /*?route=common/home                 
Disallow: /*?product_id
Clean-param: tracking

robots.txt

Ссылка на комментарий
Поделиться на других сайтах

Посмотрите сайт программой NetpeakSpider, всё увидите.

Страницы сайта есть в индексе Яндекса, чтобы это увидеть наберите в строке поиска "site:alancosmetics.by".

Sitemap у вас отдается фидом, проверьте соответствие содержимого отдаваемого количеству товаров в каталоге сайта.

 

Ещё в товарах вы используете теги (метки). Есть ли от них польза для навигации, вы можете посмотреть в вебвизоре метрики. Другой пользы от них нет, ссылки тегов (меток) закрыты от индексации.

Поэтому, на мой взгляд, если вы хотите сделать удобными навигацию и подбор товара, просто настройте фильтр.

 

Вы с сайта ссылочки продаёте? Зайдите сюда - bing.com, в поиске наберите "linkfromdomain:alancosmetics.by"

Ссылка на комментарий
Поделиться на других сайтах

Спасибо за ответ. Но простите, что значит sitemap "отдаётся фидом"? ps. всё сложно, согласен. И из всего сказанного рекомендуете удалить теги (метки)?

Ссылка на комментарий
Поделиться на других сайтах

Отдается фидом, значит, что ПС получает от вас ссылку не на статичный файл sitemap.xml, а на динамическое содержимое, т.е. вы добавили товар в каталог, а он уже автоматически отдается ПС.

На своих сайтах теги не использую. Если вы посмотрите свой сайт через NetpeakSpider, то увидите какую они создают избыточную ссылочную массу, которая по большей части бесполезна.

Сделайте полный бэкап сайта и удалите. Посмотрите, не устроит - вернете:)

Ссылка на комментарий
Поделиться на других сайтах

5 минут назад, antonchik777 сказал:

т.е необходимо может sitemap создать?

Что касается sitemap у вас работает корректно. Вам нужно проверить, соответствует ли количество товаров в фиде (alancosmetics.by/index.php?route=feed/fast_sitemap) количеству товаров в каталоге сайта

4 минуты назад, antonchik777 сказал:

И как убрать эту ссылочную массу?

Убрать теги

 

Ещё для версии 1.5.Х в robots.txt открывал доступ к стилям и js, чтобы гугл видел сайт так, как его видят посетители.

Ссылка на комментарий
Поделиться на других сайтах

Подсчитал на вскидку соответствует. Спасибо.

А подскажите Robots.txt выше настроен верно? И стоит ли добавлять дерективу Host?

Ссылка на комментарий
Поделиться на других сайтах

По желанию, на ходовые качества вряд ли повлияет.

 

Ссылку-фид необходимо отдать Яндексу в вебмастере, в разделе sitemap.

Для Гугла sitemap с ссылками на картинки. Посмотрите модуль, который у вас отвечает за sitemap, возможно там есть фид для Гугла. Его тоже необходимо отдать в вебмастере Гугла.

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, antonchik777 сказал:

т. е. эту ссылку в вебмастере закинуть и в гугл и в яндекс? alancosmetics.by/index.php?route=feed/fast_sitemap Я правильно понял?

нет

для яндекса там своя ссылка

в админке посмотрите

Ссылка на комментарий
Поделиться на других сайтах

9 минут назад, antonchik777 сказал:

в админке сайта

Да. Ищите модуль (Дополнения - Модули... как-то так должно быть), в названии которого есть Sitemap (или SitemapPro). Поправьте, если ошибаюсь, нет под рукой 1.5.6.4.1

Ссылка на комментарий
Поделиться на других сайтах

Подскажите по такому вопросу.

У меня в файле роботс были строки

Disallow: /*?page=
Disallow: /*&page=

Провел тест в netpeak spider и увидел что куча страниц с этими значениями не попадает в индекс.

убрал из файла.

Нужны ли они в роботс или нет ?

Еще вопрос по Disallow: /*search

Правильно или нет ? Нужен он в файле или удалить ?

 

Полный файл такой.Если не трудно, подскажите что в нем лишнее.Потому как куча страниц не попадает в индекс и возможно из за моих ошибок в этом файле.

Скрытый текст

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /change-password
Disallow: /newsletter
Disallow: /edit-account
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /index.php?route=account/recurring
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Sitemap: http://st-sklad.ru/index.php?route=feed/sitemap_pro

 

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /change-password
Disallow: /newsletter
Disallow: /edit-account
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /index.php?route=account/recurring
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Host:     st-sklad.ru
Sitemap: http://st-sklad.ru/index.php?route=feed/yandex_feed

 

 


 

Ссылка на комментарий
Поделиться на других сайтах

Я так спросил по той причине что стандартный который идет со сборкой максимально адаптирован

 

и мы опенкарт-про не просто так

ведь отличий в плане сео в сборке очень много

 

перестаньте выдумывать велосипед мы его уже придумали за вас

Ссылка на комментарий
Поделиться на других сайтах

я вам верю:) спасибо.заменю на ваш.

единственное - проверка гугл говорит про ошибку в роботс

Clean-param: tracking

это как то исправляется или просто не обращать внимания ?

Ссылка на комментарий
Поделиться на других сайтах

  • 1 year later...

Я поставила такую, немного добавила, картина таже. Когда генерирую сайтмап, то товары не попадают

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*account
Disallow: /*register
Disallow: /*login
Disallow: /*add
Disallow: /*order
Disallow: /*sort

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*account
Disallow: /*register
Disallow: /*login
Disallow: /*add
Disallow: /*order
Disallow: /*sort

 

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу