Яша не хочет индексировать (PRO v2.1.0.1.6)

[RHCk]

Приветствую!

 

Сайт здесь. CMS Opencart.PRO v2.1.0.1.6

Sitemap в Webmaster не загружался до последнего обновления. После обновления был включен Sitemap PRO.

 

В вебмастере Яши увидел 58 страниц, исключенных роботом, причина - документ содержит мета-тег noindex.

 

Пробовал в карточке товара включать/выключать индексацию, в обоих вариантах в выдаваемой движком странице присутствует <meta name="robots" content="noindex,follow" />.

 

Подскажите, что я делаю не так.

 

С уважением.

 

P.S. Если ошибся с разделом, просьба перенести в нужный.

[admin]

Что значит в обоих вариантах

Кэш чистили?

И не надо клацать туда сюда ейбогу вы как мартышка с гранатой

Включите индексацию везде где все хорршо и должно быть в индексе

И посмотрите что яша выкинул скорее всего технические страницы а не страницы хороших товаров

[RHCk]

Что значит в обоих вариантах

Это значит со включенной и выключенной индексацией.

 

Кэш чистили?

Чистил.

 

И не надо клацать туда сюда ейбогу вы как мартышка с гранатой

Чёнить сломаццо может?

 

Включите индексацию везде где все хорршо и должно быть в индексе

Она включена с самого начала и не выключалась до момента, когда Яша начал капризничать.

 

И посмотрите что яша выкинул скорее всего технические страницы а не страницы хороших товаров

Выкинуты как раз страницы товаров, а технические страницы из индекса уже в поиск перекочевали.

 

Сейчас специально почистил кэш, прогнал сайт Xenu и посмотрел код страницы - без изменений <meta name="robots" content="noindex,follow" />.

 

P.S. Журнал ошибок девственно чист.

[savage4pro]

эта ошибка, очевидно, связана с индексацией производителей
ModelCatalogProduct -> getProduct
на выходе мы получаем два значения поля `noindex` - из таблицы `oc_product` и `oc_manufacturer`
т,е. мы имеем не работающую функциональность вкл/откл индекса у товаров совсем

если есть производитель, то берется его значение, если производитель не назначен, то null, значения нет совсем

решение в файле catalog/model/catalog/product.php
найти в запросе

SELECT DISTINCT *, pd.name AS name, p.image, m.name AS manufacturer,

заменить на
 
вариант 1:
для того, чтобы получать еще одну колонку (для запросов так лучше не делать, но т.к. php-шная библиотека использует простой перебор, то запишется последний ключ)

SELECT DISTINCT *, pd.name AS name, p.noindex, p.image, m.name AS manufacturer,

вариант 2:
вообще от производителя для модели товара нужно только его название (идентификатор есть в `oc_product`, а картинка и так не забирается), поэтому, как вариант, можно получать данные не из всех таблиц, а выборочно:

SELECT DISTINCT p.*, pd.*, p2s.*, m.name AS manufacturer,

[admin]

удивительное рядом

буду тестировать

ну и править соответственно

[RHCk]

вариант 1:

вариант 2:

Большое спасибо за решение, яростно аплодирую!

На данный момент я бы предпочел Вариант 3: отключение данного функционала до момента корректной работы.

 

ну и править соответственно

С нетерпением жду фикс

[savage4pro]

вариант 3:
включить индексирование у всех производителей
если у какого-либо товара производитель не назначен, создать временно какого-либо dummy-производителя, включить индексирование и назначить товару
 
запрос в модели поправить все же быстрее, и плодить лишние сущности не придется

Изменено November 17, 2015 пользователем savage4pro

[RHCk]

Сделал по варианту 3. Товаров не много, производитель один.

 

Проблема с движком решена. Жду в гости Яшу

[RHCk]

Сегодня Яша одумался и количество страниц, исключенных роботом, начало уменьшаться.

Если это для кого-либо актуально, могу описать что было сделано.

[WarStyle]

Конечно опишите =)

[RHCk]

Опишу последовательность ручного заталкивания страниц в индекс Яндекса, потому как только после этого стало заметно движение в нужном направлении.

Делалось всё через Вебмастер Яндекса.

1. Общая информация о сайте (рис.1), видим исключенные страницы.

2. Жмём на линк и попадаем в раздел, где видно, сколько и по какой причине исключены (рис.2)

3. Нас будут интересовать страницы, содержавшие мета-тег noindex, жмём.

4. Попадаем на страницу со списком исключенных страниц (под графиком).

5. Дальше работаем ручками:) Открываем новую вкладку или окно браузера и идём сюда https://webmaster.yandex.ru/site/check_url.xml и выбираем нужный сайт. Далее копируем по одному адреса исключенных страниц (п-кт 4), вставляем в поле для проверки и жмём Проверить URL.

6. Справа от каждой ссылки будет результат проверки - Готово, жмём чтобы посмотреть информацию.

7. Попадаем на страницу информации о странице сайта и результате проверки (рис.3) - "Страница исключена роботом. Причина: Документ содержит мета-тег noindex" или "В данный момент адрес страницы неизвестен роботу". Ниже написано что нужно сделать, среди прочего ссылка "Сообщить о новом сайте", жмём туда.

8. Попадаем на страницу "Сообщить о новом сайте" с заполненным полем для  ссылки (рис.4). "Вводим капчу, жмем Добавить, и получаем сообщение - <адрес страницы> успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска."

9. Повторяем пункты 5 - 8 для всех страниц:)

 

P.S. Во время набора капчи я понял, мой мозг никогда не будет прежним (это что-то очень сильно напоминает либо норвежский язык, либо каталог магазина Ikea)

P.P.S. Возможно этот процесс поддаётся автоматизации, передо мной такой задачи не стояло по причине малого количества страниц на сайте.

[RHCk]

Всем привет!

У меня ко всем читающим есть просьба и одна мысль на обдумывание.

 

Просьба - если у вас сборка PRO v2.1.0.1.X сделайте пожалуйста скриншот из вебмастера Яши (первый рисунок из предыдущего поста) и напишите сколько времени прошла с открытия доступа для индексации ПС (версия OC.PRO тоже желательна). Очень интересует как быстро страницы добавляются в индекс.

 

Мысль, на которую натолкнула слишком медленная индексация Яндексом (Гугл тоже кстати не спешит особо).

Пользовал программку Screaming Frog  (как всегда не реклама, но возможно полезно кому будет) и заметил следующие моменты - некоторые страницы прикрыты мета-тегом noindex. У меня после предыдущего его использования впечатления прямо скажу о нём не очень. Так вот среди прикрытых страниц есть страницы вида <site.ru>/<category>/?page=[1...X] или <site.ru>/<manufacturer>/?page=[1...X]

 

Яша страницу по этой ссылке индексировать не будет, но на этой странице будут ссылки на страницы с товарами, не может ли он своё "неиндексирование" распространить на эти страницы (с товарами)?

 

Можно поэкспериментировать, убрать тег и посмотреть что произойдёт и как быстро.

 

С уважением.

 

P.S. Если у вас есть что по этому поводу сказать, прошу делать это аргументированно. Ссылаться на фильтры ПС (песочница и т.д.) не нужно.

[savage4pro]

может вам поможет https://yandex.ru/support/site/optimizing.xml?

 

1 час назад, RHCk сказал:

Яша страницу по этой ссылке индексировать не будет, но на этой странице будут ссылки на страницы с товарами, не может ли он своё "неиндексирование" распространить на эти страницы (с товарами)?

 

на эти страницах помимо noindex, есть и follow, поэтому мало того, что Яндекс не будет "распространять неиндексирование" на индексируемые страницы из-за того, что на какой-то неиндексируемой странице есть на неё ссылка, так он еще и с удовольствием перейдет на нее со вторых, третьих и т.д. страниц каталога

[RHCk]

15 минуту назад, savage4pro сказал:

так он еще и с удовольствием перейдет

Перейти и проиндексировать - это не одно и то же.

 

Он регулярно переходит, я бы даже сказал гуляет по сайту, но ни одна из страниц, которые ранее были закрыты мета-тегом noindex, в индекс добавлена не была, тем более в поиск. Поэтому я и запросил статистику индексирования у кого есть сайт на OC.PRO версии ближе к 2.1.0.1.10

[RHCk]

Можно даже провести эксперимент (если администрация форума не будет против).

Посмотреть как быстро попадёт эта страница в индекс (16.12.2015 19:28).

[admin]

все верно сказано http://forum.opencart.pro/topic/1673-яша-не-хочет-индексировать-pro-v21016/?do=findComment&comment=14374

так что это вы что то не того думаете себе

то что нужно попадет и мало того попадет быстрее так как ПС не будет перебирать то что ему не нужно и ресурсы выделенные вам на индексацию используются более точно

[RHCk]

11 минуту назад, admin сказал:

то что нужно попадет и мало того попадет быстрее так как ПС не будет перебирать то что ему не нужно и ресурсы выделенные вам на индексацию используются более точно

Я совершенно не против, исключительно только за

А отталкиваюсь я от тех фактов, которые имею. С сообщения, написанного мною 03.12.2015, прошло 13 дней. В течении этих 13 дней Яндекс заходил на сайт каждые 2 дня (инфа из вебмастера). В индекс новых страниц добавлено не было (не в поиск), поэтому я задумался и решил посоветоваться, заодно и поэкспериментировать.

 

Как в теории и как пишет Яндекс знаю, на данный момент теория и практика немного расходятся.

 

Ткните носом, на всяких случай, где поправить, чтобы убрать тег noindex (исключительно эксперимента для).

[admin]

ну я сужу по своим магазинам и пользуюсь этим уже 4 года

ответ ВСЕ ОК

плюс я так понимаю у вас сайт молодой плюс лазит скорее всего быстробот

и самое главное нужно в первую очередь смотреть на контент и метатеги

[Blondy]

У меня на обоих сайтах нормально все индексируется. Яндекс, конечно, по медленнее. Гугл вообще все кушает очень быстро.