COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Sitemap и robots.txt


Aleeke

Recommended Posts

Всем привет.

У меня вот такой robots.txt. 

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Sitemap: https://мойсайт.ru/index.php?route=feed/sitemap_pro

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Sitemap: https://мойсайт.ru/index.php?route=feed/yandex_feed
Host: https://мойсайт.ru

 

В Яндекс.Вебмастере ошибок на него нет, в Google Search Console выдает ошибку на вот эту строчку Clean-param: tracking

1) Что это означает и может быть она вообще не нужна и просто удалить?

2) Правильно ли я прописал файлы Sitemap (включен Sitemap.pro), так как привычный вид у них sitemap.xml  ?

Ссылка на комментарий
Поделиться на других сайтах

43 минуты назад, WarStyle сказал:

Если Вы заметили, то "Clean-param: tracking" относиться к Яндексу, для гугла идут строки "User-agent: *", по этому не обращайте внимания на эту ошибку. А зачем Вы указываете фиды в роботс, можно же их отдать на прямую ПС =)

Я тоже в роботс их скопировал, а как напрямую?

Ссылка на комментарий
Поделиться на других сайтах

49 минут назад, velomir1 сказал:

Я тоже в роботс их скопировал, а как напрямую?

 

http://joxi.ru/DrlQeO9tvnylBm - это для Яндекса, в гугле тоже поищите есть =)

Ссылка на комментарий
Поделиться на других сайтах

6 часов назад, WarStyle сказал:

Если Вы заметили, то "Clean-param: tracking" относиться к Яндексу, для гугла идут строки "User-agent: *", поэтому не обращайте внимания на эту ошибку. А зачем Вы указываете фиды в роботс, можно же их отдать напрямую ПС =)

В вебмастера яндекса и гугла тоже их добавил, а в роботс уж на всякий случай. По поводу ошибки понял, просто как то в глаза бросается.

А что это вообще означает и зачем он нужен ( "Clean-param: tracking" )?

Ссылка на комментарий
Поделиться на других сайтах

В 18.02.2017 at 20:21, RHCk сказал:

В этом нет необходимости, достаточно отдать фид в Вебмастере ПС.

Можно почитать здесь.

 

Вебмастеры ПС:

  Показать содержимое

 

Т.е. мне можно из роботса просто удалить строчки  Sitemap: https://мойсайт.ru/index.php?route=feed/sitemap_pro  и  Sitemap: https://мойсайт.ru/index.php?route=feed/yandex_feed     ?

Ссылка на комментарий
Поделиться на других сайтах

4 минуты назад, Aleeke сказал:

мне можно из роботса просто удалить строчки  Sitemap

Можно не только лишь вам, но и всем тем, кто отдаёт sitemap ПСам фидами)

Ссылка на комментарий
Поделиться на других сайтах

  • 4 weeks later...

Добрый день, не хочу создавать и плодить новую тему, решил отписаться тут. 

Вот так выглядит роботс:

Скрытый текст

User-agent: *
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=checkout/
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

Через яндекс вебмастер, показывает, что проиндексированы только 6 страниц

мой сайт

/waranty

/delivery

/about_us

/paymant

/wishlist

Я так понимаю стандартный роботс из коробки необходимо менять ? Как заставить индексировать все страницы ? 

Также в кабинете пишет ошибку: В файле robots.txt не задана директива Host

 

 

Ссылка на комментарий
Поделиться на других сайтах

Индексация включена везде, из модулей дополнительно ничего не ставил, все по умолчанию, что идет в теме революшен. Выглядит примерно все вот так. Еще почему-то сайтмэп не проверяется, ссылку закинул давно. Из модулей включен только сайтмэп про в модулях.

Скрытый текст

12.jpg

Скрытый текст

sitemap.jpg

Изменено пользователем RHCk
Код и картинки прячьте под спойлер.
Ссылка на комментарий
Поделиться на других сайтах

21 час назад, BO$$ сказал:

Через яндекс вебмастер, показывает, что проиндексированы только 6 страниц

 

а в действительности сколько страниц в индексе?

 

вообще не советую беспрекословно верить данным вебмастерской, особенно у Яндекса - информация часто поступает с запозданием.

 

16 часов назад, BO$$ сказал:

Еще почему-то сайтмэп не проверяется, ссылку закинул давно

недавно переводила один сайт на https и вебмастерская два дня не кушала новый сайтмэп, и я решила схитрить - заказала переобход страницы на урл sitemap.xml - не знаю что именно сработало, но через часов 6 сайтмэп был уже обновлен.

Ссылка на комментарий
Поделиться на других сайтах

2 часа назад, Виктори сказал:

а в действительности сколько страниц в индексе?

 

вообще не советую беспрекословно верить данным вебмастерской, особенно у Яндекса - информация часто поступает с запозданием.

если в яндексе ввести site:мойсайт.com, то отображаются 7 страниц из них 2 раза главная страница. Гугл пишет, что проиндексировал 37 страниц, "Заблокировано в файле robots.txt" - 120.

Вручную вводить урл на каждую страницу...Попробую конечно ввести в ручную  

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, BO$$ сказал:

Вручную вводить урл на каждую страницу...Попробую конечно ввести в ручную  

что вручную вводить то? )))

 

дайте ссылку на Ваш сайт...

Ссылка на комментарий
Поделиться на других сайтах

Благодарю за детальный ответ. В корне сайта сайтмэпа нет, находится по адрес index.php?route=extension/feed/sitemap_pro, там же яндекс(yandex_feed), включен модуль по умолчанию сайтмэп про. www буду убирать, вчера на скорую руку добавил этот пункт, переадресацию поменяю. Гугл вроде как частично проиндексировал страницы, я это указывал выше. Текст вбивал на скорую руку, дабы запустить сайт с товаром для местной аудитории так сказать, без описания им трудно определиться и постоянно по телефону задаются одни вопросы, что, как, почему, поэтому в ближайшее время плотно начну менять описание от себя, благо с этой тематикой опыта хватает.

Ссылка на комментарий
Поделиться на других сайтах

23 минуты назад, BO$$ сказал:

index.php?route=extension/feed/sitemap_pro, там же яндекс(yandex_feed)

это наверно какая то крутая фишка? типа для яндекса одна карта сайта, для гугла другая?

 

24 минуты назад, BO$$ сказал:

Гугл вроде как частично проиндексировал страницы, я это указывал выше

уже 100  страниц в индексе

 

24 минуты назад, BO$$ сказал:

поэтому в ближайшее время плотно начну менять описание от себя, благо с этой тематикой опыта хватает.

я к тому что чем тратить время на копирование двух строк, за это время можно написать самому коротенькое описание...

 

26 минут назад, BO$$ сказал:

В корне сайта сайтмэпа нет, находится по адрес index.php?route=extension/feed/sitemap_pro

в роботсе пропишите все ваши карты - ведь есть и другие поисковые системы, в панелях вебмастера которых вы не работаете - mail.ru rambler и тп 

Ссылка на комментарий
Поделиться на других сайтах

21 час назад, Виктори сказал:

это наверно какая то крутая фишка? типа для яндекса одна карта сайта, для гугла другая?

Яндекс не понимает картинки, например. Поэтому да, крутаая - позволяет гуглу отдавать на индексирование годные картинки, при этом яндекс не корчится с воплями об ошибках.

Ссылка на комментарий
Поделиться на других сайтах

В 22.03.2017 at 07:36, rb2 сказал:

Яндекс не понимает картинки, например.

помню как то прописывала картинки в сайтмапе, но щас чет не могу найти этот сайт ) или карту заменила или это было на каком из клиентских сайтов. Что-то я не помню чтобы Яндекс ругался на этот сайтмэп, но все может быть...

 

Ссылка на комментарий
Поделиться на других сайтах

  • 1 month later...
В 20.03.2017 at 15:31, RHCk сказал:

...

По вашему вопросу - проверьте включена ли индексация у категорий и товаров в админке.

Задайте её.

 

 Подскажите пожалуйста путь для версии опенкарт 2.3 про - как зайти в индексацию, что бы включить в поиск товары ?

(2 часа нет рою - ищу как зайти и включить индексацию (не только категорий - они то включены и Гуглом выдаются) и товаров)

Ссылка на комментарий
Поделиться на других сайтах

22 минуты назад, jaffagold сказал:

в каждом товаре отдельно - вторая вкладка внизу

Это (проверил) во всех товарах включено, но Гугл выдал в поиск только Категории, а товары нет.

Что предпринять, что бы бот Гугла выдал и товары а не только Категории? 

Ссылка на комментарий
Поделиться на других сайтах

в коде страницы в head

надо смотреть мета-тэг типа

 

META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"

если он присутствует, разбираться, как он туда попал.

а если там его нет, проверять robots.txt

 

Вводим в Googleполностью запрос на строке снизу:

site:вашадрессайта

получаем:

Результатов: примерно 769

товары тоже есть

 

Ссылка на комментарий
Поделиться на других сайтах

Вопрос по файлу роботс.тхт: В стандартном роботсе имеется такая директива Disallow: /catalog
При анализе в инструментах Гугла для вебмастеров на вкладке Посмотреть как Гуглебот, бот гугла отдает не корректное отображение страницы. И предупреждает, что :

Роботу Google не удалось получить следующие ресурсы веб-страницы:

URLТипПричинаУровень

/catalog/view/javascript/bootstrap/css/bootstrap.min.css

Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt

/catalog/view/theme/revolution/stylesheet/stylesheet.css

Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt

/catalog/view/javascript/jquery/jquery-2.1.1.min.js

СкриптЗаблокированоСреднийИнструмент проверки файла robots.txt

Подскажите, надо ли разрешать роботу гугла сканировать скрипты и файлы ЦСС стилей???

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу