Проблема в Google search console "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."

[final4ik]

Здравствуйте!
Есть проблема - понятнее всего ее опишет скриншот. Его я прикрепил к сообщению.

 

Скрытый текст

Сам файл для робота:

Скрытый текст

User-agent: *
Disallow: /unicheckout
Disallow: /*=checkout
Disallow: /product*&manufacturer_id=
Disallow: /*&search=
Disallow: /compare
Disallow: /success
Disallow: /*?page=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /?mfp=
Sitemap: https://site.com/sitemap.xml
Host: https://site.com

 
Не пойму почему гугл так считает. 
В серч консоли обновил файл для робота.
Важно то, что ранее весь сайт был закрыт "  Disallow: /  "
Но уже четвертый день как причина остается. Я пробовал оставлять только первую строку и 2 последние - не помогло. 
Файл sitemap.xml генерирует модуль Sitemap Pro (иногда генерирует сразу, а иногда весь сайт зависает на 5-10 минут, пока сгенерируется. Товаров около 3500 единиц. Пробовал использовать штатный модуль Sitemap - ситуация не меняется.

[admin]

вы там же в гугл вебмастере посмотрите перечитал ли гугл ваш новый роботс или еще нет

[Sergey2017]

Аналогичная проблема. В гугл добавили карту сайта, роботс открыт для индексирования. Так же по сайту выдаёт, что страницы закрыты от индексирования

[final4ik]

В 14.12.2017 at 09:45, Sergey2017 сказал:

Аналогичная проблема. В гугл добавили карту сайта, роботс открыт для индексирования. Так же по сайту выдаёт, что страницы закрыты от индексирования

1. Скиньте сюда или в личку содержимое файла.

2. Если уверены что там не указаны страницы, которые гугл определил как закрытые, то ответьте на вопрос: Вы сайт закрывали от индексации директивой "Disallow: /" ?

Если закрывали - то ждите, гугл не быстрый парень.. У меня за 2 недели все ок стало.

[Sergey2017]

В 16.12.2017 at 01:11, final4ik сказал:

1. Скиньте сюда или в личку содержимое файла.

2. Если уверены что там не указаны страницы, которые гугл определил как закрытые, то ответьте на вопрос: Вы сайт закрывали от индексации директивой "Disallow: /" ?

Если закрывали - то ждите, гугл не быстрый парень.. У меня за 2 недели все ок стало.

Да на сутки был сайт в disallow, что бы избежать лишних дублей) пока переносили домен на сайт

[Serg-24]

В 21.11.2017 at 00:08, final4ik сказал:

Sitemap: https://site.com/sitemap.xml
Host: https://site.com

Обратил внимание на то, что в поиске Гугла и Яндекса - нет моего сайта, хотя уже больше года установлен сайт на опенкарт.PRO

Считал (так как был уверен), что система сама будет раздавать Sitemap файлы как Гуглу так и Яндексу, а нет, не раздает.

Так же, на многих сайтах вижу в конце файла robots.txt - что в нем хозяева сайтов прописывают "без половую принадлежность", что ставит этот файл (robots.txt) как для Гугла так и для Яндекса общим (единым) из которого они (оба поисковика) должны будут брать команды для последующего их выполнения.

 Вопрос такой, стоит (ли) в файле robots.txt вообще указывать строку (предпоследнюю в списке) с путем к файлу:  Sitemap: https://мой-сайт.рф/sitemap.xml  или нет?

 Как правильно сделать запись в robots.txt, что бы об неё не спотыкались поисковики (Гугл и Яндекс) - если (самостоятельно) в ручную, зайдя на их сервисы указал им пути которые мне видны из Админки опенкарта через каналы продвижения? 

Скрытый текст

 

[admin]

18 минут назад, Serg-24 сказал:

Как правильно сделать запись в robots.txt

самое простое зайдите в настройки сайтмап_про

там есть две ссылки

вот одну скормите гуглу в вебмастере

а вторую яндексу в его вебмастере

[Serg-24]

21 минуту назад, admin сказал:

самое простое зайдите в настройки сайтмап_про

там есть две ссылки

вот одну скормите гуглу в вебмастере

а вторую яндексу в его вебмастере

 Я так и сделал - посмотрим через пару недель что будет в результате...

А как быть с файлом: robots.txt - он в предпоследней строке имеет путь для поисковиков и указывает на файл сайтмал_про? 

Что (же) получается, эта (предпоследняя) строка (Sitemap: https://site/sitemap.xml) Гуглу и Яндексу не указ? Гугл и Яндекс эту строку не читают?

[Serg-24]

1 час назад, admin сказал:

самое простое зайдите в настройки сайтмап_про

там есть две ссылки

вот одну скормите гуглу в вебмастере

а вторую яндексу в его вебмастере

Гугл пишет: Страница, связанная с отправленным URL, содержит тег noindex

 На эти файлы (в Админке) я поставил Индексация Отключена - думаю вот поэтому Гугл ругается и отказывается принимать (мой) файл Sitemap.

 Как мне ручками поправить этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro), хочу убрать в ручную строки которые с тегом noindex.

Подскажите пожалуйста - где хранится эта информация файла, что бы её подкорректировать? (Если это возможно)

[admin]

3 часа назад, Serg-24 сказал:

А как быть с файлом: robots.txt - он в предпоследней строке имеет путь для поисковиков и указывает на файл сайтмал_про? 

ну я не телепат что там у вас указано я не знаю, но если добавили в вебмастеры там быть ничего не должно

3 часа назад, Serg-24 сказал:

Что (же) получается, эта (предпоследняя) строка (Sitemap: https://site/sitemap.xml) Гуглу и Яндексу не указ? Гугл и Яндекс эту строку не читают?

ну вы сами сходите по этой ссылке и вам будет не указ, откуда она там взялась ?

2 часа назад, Serg-24 сказал:

На эти файлы (в Админке) я поставил Индексация Отключена - думаю вот поэтому Гугл ругается и отказывается принимать (мой) файл Sitemap.

 Как мне ручками поправить этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro), хочу убрать в ручную строки которые с тегом noindex.

это на какие?

но если ноиндекс не на все то остальные прочитает и проиндексирует

2 часа назад, Serg-24 сказал:

Подскажите пожалуйста - где хранится эта информация файла, что бы её подкорректировать? (Если это возможно)

ну и вот опять мы возвращаемся к телепатам

 

сформулируйте вопрос масимум корректно и понятно

[Serg-24]

12 часа назад, admin сказал:

ну и вот опять мы возвращаемся к телепатам

сформулируйте вопрос масимум корректно и понятно

Имею в виду воздействие ручками на этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro).

И как вариант есть способ донести через robots.txt, через тег: Disallow: /мой-файл - он (же) наверное самый лучший и правильный?

[admin]

2 часа назад, Serg-24 сказал:

Имею в виду воздействие ручками на этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro).

Вы меня извините но мы кажется на разных языках с вами говорим, воздействие руками на что?

что вы хотите получить в итоге?

2 часа назад, Serg-24 сказал:

И как вариант есть способ донести через robots.txt, через тег: Disallow: /мой-файл - он (же) наверное самый лучший и правильный?

кто такой ваш файл? это страница или что это?

что вы хотите закрыть в роботсе от индексации

 

[Serg-24]

В 05.09.2018 at 20:32, admin сказал:

Вы меня извините но мы кажется на разных языках с вами говорим, воздействие руками на что?

что вы хотите получить в итоге?

кто такой ваш файл? это страница или что это?

что вы хотите закрыть в роботсе от индексации

Извиняюсь за неточность в объяснении, т.к., запутался (совсем). Полагал что криво составил robotc.txt, сообщал Яндексу и Гуглу о новом фале  - а поисковики все не как не желают брать страницы в поиск. На сегодняшний день (разбираясь) с Яндексом = получил такой ответ с предупреждениями:

Скрытый текст

 - это 25 предупреждений и по видимому они будут последние так как измучил я этот поисковик).

 Вычитав на форуме, что, если есть модули позволяющие создать карту сайта, такие как:  Sitemap и Sitemap Pro, то Sitemap - нужно ОТКлючить, а Sitemap Pro - ВКЛючить, что я и сделал. Далее в robots.txt прописал путь к этому файлу (https://xn--САЙТ.xn--p1ai/index.php?route=extension/feed/sitemap_pro) и попросил робота сделать пере обход страниц.

Скрытый текст

 В итоге, 2 суток ожидания а страниц в поиске ноль + 25 предупреждений! (Понимаю что это круто) Не могу понять почему так.

Возможно яндекс просто не знаком с опенкарт.PRO и его возможностями создавать (для Яндекса) файл: sitemap_pro ?

Мой сайт находится на Кириллическом домене, может быть - это яндексу не нравится?

Или что-то я делаю не так? Подскажите пожалуйста в чем (же) у меня ошибка?

[RHCk]

3 часа назад, Serg-24 сказал:

Подскажите пожалуйста в чем (же) у меня ошибка?

1. Для начала достаточно дефолтного robots.txt

Если есть фильтр, добавьте в robots.txt по маске страницы фильтра.

Добавьте те страницы, которые не нужно индексировать.

2. Отдайте в Вебмастерах поисковых системах фиды sitemap - для Гугла и Яндекса, каждому свой.

3. Страницы в индексе и страницы в поиске - это не одно и то же. Сначала сайт индексируется, затем страницы попадают в поиск.

4. Яндекс за двое суток ничего не делает. У него на это уходит пара недель, при условии, что вы всё корректно сделали на сайте.

Можете попробовать Переобход страниц в Вебмастере Яндекса.

5. Кириллический домен переведите в паникод, например здесь.

[Serg-24]

3 часа назад, RHCk сказал:

1. Для начала достаточно дефолтного robots.txt

Если есть фильтр, добавьте в robots.txt по маске страницы фильтра.

Добавьте те страницы, которые не нужно индексировать.

2. Отдайте в Вебмастерах поисковых системах фиды sitemap - для Гугла и Яндекса, каждому свой.

3. Страницы в индексе и страницы в поиске - это не одно и то же. Сначала сайт индексируется, затем страницы попадают в поиск.

4. Яндекс за двое суток ничего не делает. У него на это уходит пара недель, при условии, что вы всё корректно сделали на сайте.

Можете попробовать Переобход страниц в Вебмастере Яндекса.

5. Кириллический домен переведите в паникод, например здесь.

А как (же) теги image:image что дает Sitemap Pro? Что с ними делать? Как их побороть? Ведь проблема (то) в них, пока заключена.

После того как Sitemap Pro перестанет для Гугла давать то что ему не нравится, тогда и дальше буду копать...

Изменено сентября 7, 2018 пользователем Serg-24
Добавил текст

[admin]

ну вот вы по русски так писать и главное понимать не начали

1. верните в зад стандартный сайтмап сборки

2. зайдите в каналы продвижения, отключите там все

3. в каналах продвижения включите сайтмап про

4. зайдите в его настройки там будет две ссылки одна для гугла одна для яндекса

5. зайдите в вебмастер гугла и добавьте там ссылку сайтмап про для гугла, если есть там еще какие то удалите их

6. зайдите в яндекс вебмастер добавьте ему свою ссылку из сатмап про если есть там еще какие то удалите их

7.  убедитесь что вы правильно сделали пункты 1-6

[Serg-24]

11 час назад, admin сказал:

ну вот вы по русски так писать и главное понимать не начали

1. верните в зад стандартный сайтмап сборки

2. зайдите в каналы продвижения, отключите там все

3. в каналах продвижения включите сайтмап про

4. зайдите в его настройки там будет две ссылки одна для гугла одна для яндекса

5. зайдите в вебмастер гугла и добавьте там ссылку сайтмап про для гугла, если есть там еще какие то удалите их

6. зайдите в яндекс вебмастер добавьте ему свою ссылку из сатмап про если есть там еще какие то удалите их

7.  убедитесь что вы правильно сделали пункты 1-6

Именно так и сделал. По ссылке прошел - посмотрел ранее присутствующие теги: image:image (о которых меня предупредил робот) = их уже нет, жду ответа от робота.

Подскажите пожалуйста, что делать (как использовать) с другими каналами продвижения? Поясните для чего они нужны и как с ними работать (опыт подсказывает что лучше сначала узнать). Если можно - дайте ссылки на их применение, что бы знать, как и что, для чего...

Название канала продвижения:
Блог Sitemap     - Отключено     
Google Base       - Отключено     
Sitemap               - Отключено     
OpenBay Pro      - Отключено     
Sitemap Pro        - Включено (он в работе) 
Яндекс.Маркет - Отключено

[RHCk]

5 часов назад, Serg-24 сказал:

Подскажите пожалуйста

Вы не находите, что ваши вопросы, мягко говоря, выходят за рамки обсуждаемой здесь темы?

Не нужно писать в разные темы один и тот же вопрос.

Создайте тему и опишите все ваши непонятности там.

[admin]

11 час назад, Serg-24 сказал:

опыт подсказывает что лучше сначала узнать

если вы не знаете зачем они значит они вам не нужны ?

11 час назад, Serg-24 сказал:

Блог Sitemap     - Отключено     

если пользуетесь встроенным блогом то включить и проделать тоже самое что с сайтмап-про

[admin]

3 часа назад, Serg-24 сказал:

Вот, вот, руководства по детальной настройке у меня нет и по этому вопросы вам задаю, а вдруг понадобится = у кого спрашивать? А так, буду знать на будущее и иметь в виду... Спасибо.

краткое руководство звучит так: не знаешь не трогай

но то что вы задаете вопросы это хорошо

что делал бы я на вашем месте, я бы вбил название модуля в гугл и почитал бы что мне гугл ответит и таким образом понял бы нужно оно мне на данный момент или не нужно