Sitemap и robots.txt

[Aleeke]

Всем привет.

У меня вот такой robots.txt. 

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Sitemap: https://мойсайт.ru/index.php?route=feed/sitemap_pro

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Sitemap: https://мойсайт.ru/index.php?route=feed/yandex_feed
Host: https://мойсайт.ru

 

В Яндекс.Вебмастере ошибок на него нет, в Google Search Console выдает ошибку на вот эту строчку Clean-param: tracking

1) Что это означает и может быть она вообще не нужна и просто удалить?

2) Правильно ли я прописал файлы Sitemap (включен Sitemap.pro), так как привычный вид у них sitemap.xml  ?

[WarStyle]

Если Вы заметили, то "Clean-param: tracking" относиться к Яндексу, для гугла идут строки "User-agent: *", поэтому не обращайте внимания на эту ошибку. А зачем Вы указываете фиды в роботс, можно же их отдать напрямую ПС =)

[velomir1]

43 минуты назад, WarStyle сказал:

Если Вы заметили, то "Clean-param: tracking" относиться к Яндексу, для гугла идут строки "User-agent: *", по этому не обращайте внимания на эту ошибку. А зачем Вы указываете фиды в роботс, можно же их отдать на прямую ПС =)

Я тоже в роботс их скопировал, а как напрямую?

[WarStyle]

49 минут назад, velomir1 сказал:

Я тоже в роботс их скопировал, а как напрямую?

 

http://joxi.ru/DrlQeO9tvnylBm - это для Яндекса, в гугле тоже поищите есть =)

[Aleeke]

6 часов назад, WarStyle сказал:

Если Вы заметили, то "Clean-param: tracking" относиться к Яндексу, для гугла идут строки "User-agent: *", поэтому не обращайте внимания на эту ошибку. А зачем Вы указываете фиды в роботс, можно же их отдать напрямую ПС =)

В вебмастера яндекса и гугла тоже их добавил, а в роботс уж на всякий случай. По поводу ошибки понял, просто как то в глаза бросается.

А что это вообще означает и зачем он нужен ( "Clean-param: tracking" )?

[RHCk]

51 минуту назад, Aleeke сказал:

а в роботс уж на всякий случай

В этом нет необходимости, достаточно отдать фид в Вебмастере ПС.

51 минуту назад, Aleeke сказал:

зачем он нужен

Можно почитать здесь.

 

Вебмастеры ПС:

Скрытый текст

• Google
• Yandex
• Bing
• Mail.ru

 

[Aleeke]

В 18.02.2017 at 20:21, RHCk сказал:

В этом нет необходимости, достаточно отдать фид в Вебмастере ПС.

Можно почитать здесь.

 

Вебмастеры ПС:

  Показать содержимое

• Google
• Yandex
• Bing
• Mail.ru

 

Т.е. мне можно из роботса просто удалить строчки  Sitemap: https://мойсайт.ru/index.php?route=feed/sitemap_pro  и  Sitemap: https://мойсайт.ru/index.php?route=feed/yandex_feed     ?

[RHCk]

4 минуты назад, Aleeke сказал:

мне можно из роботса просто удалить строчки  Sitemap

Можно не только лишь вам, но и всем тем, кто отдаёт sitemap ПСам фидами)

[BO$$]

Добрый день, не хочу создавать и плодить новую тему, решил отписаться тут. 

Вот так выглядит роботс:

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

Через яндекс вебмастер, показывает, что проиндексированы только 6 страниц

мой сайт

/waranty

/delivery

/about_us

/paymant

/wishlist

Я так понимаю стандартный роботс из коробки необходимо менять ? Как заставить индексировать все страницы ? 

Также в кабинете пишет ошибку: В файле robots.txt не задана директива Host

 

 

[RHCk]

2 часа назад, BO$$ сказал:

Я так понимаю стандартный роботс из коробки необходимо менять ?

Менять не нужно.

При установке каких либо модулей, возможно его необходимо будет дополнить.

По вашему вопросу - проверьте включена ли индексация у категорий и товаров в админке.

2 часа назад, BO$$ сказал:

Также в кабинете пишет ошибку

Задайте её.

[BO$$]

Индексация включена везде, из модулей дополнительно ничего не ставил, все по умолчанию, что идет в теме революшен. Выглядит примерно все вот так. Еще почему-то сайтмэп не проверяется, ссылку закинул давно. Из модулей включен только сайтмэп про в модулях.

Скрытый текст

Скрытый текст

Изменено марта 20, 2017 пользователем RHCk
Код и картинки прячьте под спойлер.

[Виктори]

21 час назад, BO$$ сказал:

Через яндекс вебмастер, показывает, что проиндексированы только 6 страниц

 

а в действительности сколько страниц в индексе?

 

вообще не советую беспрекословно верить данным вебмастерской, особенно у Яндекса - информация часто поступает с запозданием.

 

16 часов назад, BO$$ сказал:

Еще почему-то сайтмэп не проверяется, ссылку закинул давно

недавно переводила один сайт на https и вебмастерская два дня не кушала новый сайтмэп, и я решила схитрить - заказала переобход страницы на урл sitemap.xml - не знаю что именно сработало, но через часов 6 сайтмэп был уже обновлен.

[BO$$]

2 часа назад, Виктори сказал:

а в действительности сколько страниц в индексе?

 

вообще не советую беспрекословно верить данным вебмастерской, особенно у Яндекса - информация часто поступает с запозданием.

если в яндексе ввести site:мойсайт.com, то отображаются 7 страниц из них 2 раза главная страница. Гугл пишет, что проиндексировал 37 страниц, "Заблокировано в файле robots.txt" - 120.

Вручную вводить урл на каждую страницу...Попробую конечно ввести в ручную  

[Виктори]

1 час назад, BO$$ сказал:

Вручную вводить урл на каждую страницу...Попробую конечно ввести в ручную  

что вручную вводить то? )))

 

дайте ссылку на Ваш сайт...

[BO$$]

sevhookah точка com

[Виктори]

ну во первых укажите в роботсе файл сайтмап

кстати где ваш сайтмап вообще? 

по адресу вашсайт.ком/sitemap.xml htacces редиректит на несуществующую карту (пустая страница) - я технические нюансы настройки модулей не знаю, но думаю местные ребята Вам подскажут как исправить этот лаг. Я лишь порекомендую сделать нормальную xml карту сайта в нормальном формате, оставить ее по адресу site.com /sitemap.xml и в роботсе указать к ней путь. Еще не лишним будет загрузить список всех урлов в txt сайтпам (для яху да и так пригодится простой список всех урлов сайта) -как автоматизировать этот процесс не подскажу.

 

в вашем роботсе директива хост указала главным зеркалом с www  - рекомендую определиться на какой версии будет работать Ваш сайт, указать ее в хосте и сделать 301 редирект с одной на другую. 

 

в индексе гугла начали появляться остальные страницы сайта, и кстати - это плохо тк сайт еще не готов к покорению вершин )  - описания товаров копипаст - ранжировать такой сайт нормально не будут. На страницах ваших товаров всего по две строки - это нетрудно уникализировать - сами не можете - наймите копирайтера, нет так вообще уберите пока текст - лучше без него чем скопировать...

 

по роботсу проблем не вижу - по сайту куча. Работайте над улучшением, и будем результат!

[BO$$]

Благодарю за детальный ответ. В корне сайта сайтмэпа нет, находится по адрес index.php?route=extension/feed/sitemap_pro, там же яндекс(yandex_feed), включен модуль по умолчанию сайтмэп про. www буду убирать, вчера на скорую руку добавил этот пункт, переадресацию поменяю. Гугл вроде как частично проиндексировал страницы, я это указывал выше. Текст вбивал на скорую руку, дабы запустить сайт с товаром для местной аудитории так сказать, без описания им трудно определиться и постоянно по телефону задаются одни вопросы, что, как, почему, поэтому в ближайшее время плотно начну менять описание от себя, благо с этой тематикой опыта хватает.

[Виктори]

23 минуты назад, BO$$ сказал:

index.php?route=extension/feed/sitemap_pro, там же яндекс(yandex_feed)

это наверно какая то крутая фишка? типа для яндекса одна карта сайта, для гугла другая?

 

24 минуты назад, BO$$ сказал:

Гугл вроде как частично проиндексировал страницы, я это указывал выше

уже 100  страниц в индексе

 

24 минуты назад, BO$$ сказал:

поэтому в ближайшее время плотно начну менять описание от себя, благо с этой тематикой опыта хватает.

я к тому что чем тратить время на копирование двух строк, за это время можно написать самому коротенькое описание...

 

26 минут назад, BO$$ сказал:

В корне сайта сайтмэпа нет, находится по адрес index.php?route=extension/feed/sitemap_pro

в роботсе пропишите все ваши карты - ведь есть и другие поисковые системы, в панелях вебмастера которых вы не работаете - mail.ru rambler и тп 

[rb2]

21 час назад, Виктори сказал:

это наверно какая то крутая фишка? типа для яндекса одна карта сайта, для гугла другая?

Яндекс не понимает картинки, например. Поэтому да, крутаая - позволяет гуглу отдавать на индексирование годные картинки, при этом яндекс не корчится с воплями об ошибках.

[Виктори]

В 22.03.2017 at 07:36, rb2 сказал:

Яндекс не понимает картинки, например.

помню как то прописывала картинки в сайтмапе, но щас чет не могу найти этот сайт ) или карту заменила или это было на каком из клиентских сайтов. Что-то я не помню чтобы Яндекс ругался на этот сайтмэп, но все может быть...

 

[Serg-24]

В 20.03.2017 at 15:31, RHCk сказал:

...

По вашему вопросу - проверьте включена ли индексация у категорий и товаров в админке.

Задайте её.

 

 Подскажите пожалуйста путь для версии опенкарт 2.3 про - как зайти в индексацию, что бы включить в поиск товары ?

(2 часа нет рою - ищу как зайти и включить индексацию (не только категорий - они то включены и Гуглом выдаются) и товаров)

[jaffagold]

в каждом товаре отдельно

вторая вкладка внизу

[Serg-24]

22 минуты назад, jaffagold сказал:

в каждом товаре отдельно - вторая вкладка внизу

Это (проверил) во всех товарах включено, но Гугл выдал в поиск только Категории, а товары нет.

Что предпринять, что бы бот Гугла выдал и товары а не только Категории? 

[jaffagold]

в коде страницы в head

надо смотреть мета-тэг типа

 

META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"

если он присутствует, разбираться, как он туда попал.

а если там его нет, проверять robots.txt

 

Вводим в Googleполностью запрос на строке снизу:

site:вашадрессайта

получаем:

Результатов: примерно 769

товары тоже есть

 

[sheru]

Вопрос по файлу роботс.тхт: В стандартном роботсе имеется такая директива Disallow: /catalog
При анализе в инструментах Гугла для вебмастеров на вкладке Посмотреть как Гуглебот, бот гугла отдает не корректное отображение страницы. И предупреждает, что :

Роботу Google не удалось получить следующие ресурсы веб-страницы:

URLТипПричинаУровень

/catalog/view/javascript/bootstrap/css/bootstrap.min.css

Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt

/catalog/view/theme/revolution/stylesheet/stylesheet.css

Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt

/catalog/view/javascript/jquery/jquery-2.1.1.min.js

СкриптЗаблокированоСреднийИнструмент проверки файла robots.txt

Подскажите, надо ли разрешать роботу гугла сканировать скрипты и файлы ЦСС стилей???