COVID2019 и это вот все. Друзья, вся эта история начинает плохо пахнет. Мойте руки, не ходите в люди. Отложите все плановые покупки и положите в носок заначку. Заприте ваших родителей, бабушек-дедушек на даче. Лучше перебдеть чем недобдеть. Берегите себя!

Проблема в Google search console "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."


final4ik

Recommended Posts

Здравствуйте!
Есть проблема - понятнее всего ее опишет скриншот. Его я прикрепил к сообщению.

 

Скрытый текст

Screenshot_3.thumb.png.100940583bd26b1131d4f4d4da838bb9.png


Сам файл для робота:

Скрытый текст

User-agent: *
Disallow: /unicheckout
Disallow: /*=checkout
Disallow: /product*&manufacturer_id=
Disallow: /*&search=
Disallow: /compare
Disallow: /success
Disallow: /*?page=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /?mfp=
Sitemap: https://site.com/sitemap.xml
Host: https://site.com


 
Не пойму почему гугл так считает. 
В серч консоли обновил файл для робота.
Важно то, что ранее весь сайт был закрыт "  Disallow: /  "
Но уже четвертый день как причина остается. Я пробовал оставлять только первую строку и 2 последние - не помогло. 
Файл sitemap.xml генерирует модуль Sitemap Pro (иногда генерирует сразу, а иногда весь сайт зависает на 5-10 минут, пока сгенерируется. Товаров около 3500 единиц. Пробовал использовать штатный модуль Sitemap - ситуация не меняется.

Ссылка на комментарий
Поделиться на других сайтах

  • 4 weeks later...

Аналогичная проблема. В гугл добавили карту сайта, роботс открыт для индексирования. Так же по сайту выдаёт, что страницы закрыты от индексирования

Ссылка на комментарий
Поделиться на других сайтах

В 14.12.2017 at 09:45, Sergey2017 сказал:

Аналогичная проблема. В гугл добавили карту сайта, роботс открыт для индексирования. Так же по сайту выдаёт, что страницы закрыты от индексирования

1. Скиньте сюда или в личку содержимое файла.

2. Если уверены что там не указаны страницы, которые гугл определил как закрытые, то ответьте на вопрос: Вы сайт закрывали от индексации директивой "Disallow: /" ?

Если закрывали - то ждите, гугл не быстрый парень.. У меня за 2 недели все ок стало.

Ссылка на комментарий
Поделиться на других сайтах

В 16.12.2017 at 01:11, final4ik сказал:

1. Скиньте сюда или в личку содержимое файла.

2. Если уверены что там не указаны страницы, которые гугл определил как закрытые, то ответьте на вопрос: Вы сайт закрывали от индексации директивой "Disallow: /" ?

Если закрывали - то ждите, гугл не быстрый парень.. У меня за 2 недели все ок стало.

Да на сутки был сайт в disallow, что бы избежать лишних дублей) пока переносили домен на сайт

Ссылка на комментарий
Поделиться на других сайтах

  • 8 months later...
В 21.11.2017 at 00:08, final4ik сказал:

Обратил внимание на то, что в поиске Гугла и Яндекса - нет моего сайта, хотя уже больше года установлен сайт на опенкарт.PRO

Считал (так как был уверен), что система сама будет раздавать Sitemap файлы как Гуглу так и Яндексу, а нет, не раздает.

Так же, на многих сайтах вижу в конце файла robots.txt - что в нем хозяева сайтов прописывают "без половую принадлежность", что ставит этот файл (robots.txt) как для Гугла так и для Яндекса общим (единым) из которого они (оба поисковика) должны будут брать команды для последующего их выполнения.

 Вопрос такой, стоит (ли) в файле robots.txt вообще указывать строку (предпоследнюю в списке) с путем к файлу:  Sitemap: https://мой-сайт.рф/sitemap.xml  или нет?

 Как правильно сделать запись в robots.txt, что бы об неё не спотыкались поисковики (Гугл и Яндекс) - если (самостоятельно) в ручную, зайдя на их сервисы указал им пути которые мне видны из Админки опенкарта через каналы продвижения? 

Скрытый текст

1245744763_.thumb.JPG.aa2e0f31a02d3a90d36bf95a67e2c33e.JPG

 

Ссылка на комментарий
Поделиться на других сайтах

21 минуту назад, admin сказал:

самое простое зайдите в настройки сайтмап_про

там есть две ссылки

вот одну скормите гуглу в вебмастере

а вторую яндексу в его вебмастере

 Я так и сделал - посмотрим через пару недель что будет в результате...

А как быть с файлом: robots.txt - он в предпоследней строке имеет путь для поисковиков и указывает на файл сайтмал_про? 

Что (же) получается, эта (предпоследняя) строка (Sitemap: https://site/sitemap.xml) Гуглу и Яндексу не указ? Гугл и Яндекс эту строку не читают?

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, admin сказал:

самое простое зайдите в настройки сайтмап_про

там есть две ссылки

вот одну скормите гуглу в вебмастере

а вторую яндексу в его вебмастере

Гугл пишет: Страница, связанная с отправленным URL, содержит тег noindex

 На эти файлы (в Админке) я поставил Индексация Отключена - думаю вот поэтому Гугл ругается и отказывается принимать (мой) файл Sitemap.

 Как мне ручками поправить этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro), хочу убрать в ручную строки которые с тегом noindex.

Подскажите пожалуйста - где хранится эта информация файла, что бы её подкорректировать? (Если это возможно)

Ссылка на комментарий
Поделиться на других сайтах

3 часа назад, Serg-24 сказал:

А как быть с файлом: robots.txt - он в предпоследней строке имеет путь для поисковиков и указывает на файл сайтмал_про? 

ну я не телепат что там у вас указано я не знаю, но если добавили в вебмастеры там быть ничего не должно

3 часа назад, Serg-24 сказал:

Что (же) получается, эта (предпоследняя) строка (Sitemap: https://site/sitemap.xml) Гуглу и Яндексу не указ? Гугл и Яндекс эту строку не читают?

ну вы сами сходите по этой ссылке и вам будет не указ, откуда она там взялась ?

2 часа назад, Serg-24 сказал:

На эти файлы (в Админке) я поставил Индексация Отключена - думаю вот поэтому Гугл ругается и отказывается принимать (мой) файл Sitemap.

 Как мне ручками поправить этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro), хочу убрать в ручную строки которые с тегом noindex.

это на какие?

но если ноиндекс не на все то остальные прочитает и проиндексирует

2 часа назад, Serg-24 сказал:

Подскажите пожалуйста - где хранится эта информация файла, что бы её подкорректировать? (Если это возможно)

ну и вот опять мы возвращаемся к телепатам

 

сформулируйте вопрос масимум корректно и понятно

Ссылка на комментарий
Поделиться на других сайтах

12 часа назад, admin сказал:

ну и вот опять мы возвращаемся к телепатам

сформулируйте вопрос масимум корректно и понятно

Имею в виду воздействие ручками на этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro).

И как вариант есть способ донести через robots.txt, через тег: Disallow: /мой-файл - он (же) наверное самый лучший и правильный?

Ссылка на комментарий
Поделиться на других сайтах

2 часа назад, Serg-24 сказал:

Имею в виду воздействие ручками на этот файл Sitemap (который даю Гуглу: https://мой-сайт/index.php?route=extension/feed/sitemap_pro).

Вы меня извините но мы кажется на разных языках с вами говорим, воздействие руками на что?

что вы хотите получить в итоге?

2 часа назад, Serg-24 сказал:

И как вариант есть способ донести через robots.txt, через тег: Disallow: /мой-файл - он (же) наверное самый лучший и правильный?

кто такой ваш файл? это страница или что это?

что вы хотите закрыть в роботсе от индексации

 

Ссылка на комментарий
Поделиться на других сайтах

В 05.09.2018 at 20:32, admin сказал:

Вы меня извините но мы кажется на разных языках с вами говорим, воздействие руками на что?

что вы хотите получить в итоге?

кто такой ваш файл? это страница или что это?

что вы хотите закрыть в роботсе от индексации

Извиняюсь за неточность в объяснении, т.к., запутался (совсем). Полагал что криво составил robotc.txt, сообщал Яндексу и Гуглу о новом фале  - а поисковики все не как не желают брать страницы в поиск. На сегодняшний день (разбираясь) с Яндексом = получил такой ответ с предупреждениями:

Скрытый текст

1759422897_1-25.thumb.jpg.8e7382054849d4e03f2b3c05d5aac830.jpg

 - это 25 предупреждений и по видимому они будут последние так как измучил я этот поисковик).

 Вычитав на форуме, что, если есть модули позволяющие создать карту сайта, такие как:  Sitemap и Sitemap Pro, то Sitemap - нужно ОТКлючить, а Sitemap Pro - ВКЛючить, что я и сделал. Далее в robots.txt прописал путь к этому файлу (https://xn--САЙТ.xn--p1ai/index.php?route=extension/feed/sitemap_pro) и попросил робота сделать пере обход страниц.

Скрытый текст

Sitemap-pro.thumb.JPG.de2b703279793ed1dbda7287e4539c7d.JPG

 В итоге, 2 суток ожидания а страниц в поиске ноль + 25 предупреждений! (Понимаю что это круто) Не могу понять почему так.

Возможно яндекс просто не знаком с опенкарт.PRO и его возможностями создавать (для Яндекса) файл: sitemap_pro ?

Мой сайт находится на Кириллическом домене, может быть - это яндексу не нравится?

Или что-то я делаю не так? Подскажите пожалуйста в чем (же) у меня ошибка?

Ссылка на комментарий
Поделиться на других сайтах

3 часа назад, Serg-24 сказал:

Подскажите пожалуйста в чем (же) у меня ошибка?

1. Для начала достаточно дефолтного robots.txt

Если есть фильтр, добавьте в robots.txt по маске страницы фильтра.

Добавьте те страницы, которые не нужно индексировать.

2. Отдайте в Вебмастерах поисковых системах фиды sitemap - для Гугла и Яндекса, каждому свой.

3. Страницы в индексе и страницы в поиске - это не одно и то же. Сначала сайт индексируется, затем страницы попадают в поиск.

4. Яндекс за двое суток ничего не делает. У него на это уходит пара недель, при условии, что вы всё корректно сделали на сайте.

Можете попробовать Переобход страниц в Вебмастере Яндекса.

5. Кириллический домен переведите в паникод, например здесь.

Ссылка на комментарий
Поделиться на других сайтах

3 часа назад, RHCk сказал:

1. Для начала достаточно дефолтного robots.txt

Если есть фильтр, добавьте в robots.txt по маске страницы фильтра.

Добавьте те страницы, которые не нужно индексировать.

2. Отдайте в Вебмастерах поисковых системах фиды sitemap - для Гугла и Яндекса, каждому свой.

3. Страницы в индексе и страницы в поиске - это не одно и то же. Сначала сайт индексируется, затем страницы попадают в поиск.

4. Яндекс за двое суток ничего не делает. У него на это уходит пара недель, при условии, что вы всё корректно сделали на сайте.

Можете попробовать Переобход страниц в Вебмастере Яндекса.

5. Кириллический домен переведите в паникод, например здесь.

А как (же) теги image:image что дает Sitemap Pro? Что с ними делать? Как их побороть? Ведь проблема (то) в них, пока заключена.

После того как Sitemap Pro перестанет для Гугла давать то что ему не нравится, тогда и дальше буду копать...

Изменено пользователем Serg-24
Добавил текст
Ссылка на комментарий
Поделиться на других сайтах

11 час назад, admin сказал:

ну вот вы по русски так писать и главное понимать не начали

1. верните в зад стандартный сайтмап сборки

2. зайдите в каналы продвижения, отключите там все

3. в каналах продвижения включите сайтмап про

4. зайдите в его настройки там будет две ссылки одна для гугла одна для яндекса

5. зайдите в вебмастер гугла и добавьте там ссылку сайтмап про для гугла, если есть там еще какие то удалите их

6. зайдите в яндекс вебмастер добавьте ему свою ссылку из сатмап про если есть там еще какие то удалите их

7.  убедитесь что вы правильно сделали пункты 1-6

Именно так и сделал. По ссылке прошел - посмотрел ранее присутствующие теги: image:image (о которых меня предупредил робот) = их уже нет, жду ответа от робота.

Подскажите пожалуйста, что делать (как использовать) с другими каналами продвижения? Поясните для чего они нужны и как с ними работать (опыт подсказывает что лучше сначала узнать). Если можно - дайте ссылки на их применение, что бы знать, как и что, для чего...

Название канала продвижения:
Блог Sitemap     - Отключено     
Google Base       - Отключено     
Sitemap               - Отключено     
OpenBay Pro      - Отключено     
Sitemap Pro        - Включено (он в работе) 
Яндекс.Маркет - Отключено

Ссылка на комментарий
Поделиться на других сайтах

5 часов назад, Serg-24 сказал:

Подскажите пожалуйста

Вы не находите, что ваши вопросы, мягко говоря, выходят за рамки обсуждаемой здесь темы?

Не нужно писать в разные темы один и тот же вопрос.

Создайте тему и опишите все ваши непонятности там.

Ссылка на комментарий
Поделиться на других сайтах

11 час назад, Serg-24 сказал:

опыт подсказывает что лучше сначала узнать

если вы не знаете зачем они значит они вам не нужны ?

11 час назад, Serg-24 сказал:

Блог Sitemap     - Отключено     

если пользуетесь встроенным блогом то включить и проделать тоже самое что с сайтмап-про

Ссылка на комментарий
Поделиться на других сайтах

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу