Индексация Яндекс

[Blade]

Сколько ни читал, так толком и не понял.Объясните в двух словах что не так, или если все так то почему именно так

Что значат эти цифры и почему такая разница ?

 

 

Товаров точно не знаю сколько, но около 21000-23000 должно быть

 

Что то срочно надо исправить ?

[Blade]

Ну в общем и целом основную суть индексации понял

Спасибо

я думал есть проблемы технического плана, а с моральным разберусь

[RHCk]

  В 01.03.2016 at 14:12, spown сказал:

проблемы технического плана

Expand  

Исключено роботом 6970 страниц.

Почему исключены? Что с ними не так?

Если товаров пусть 23К, почему загруженных страниц 27К и их число увеличивается? Отдаются дубли или фильтр. Проверяйте sitemap.

Как давно сайт начал индексироваться?

[Blade]

  В 01.03.2016 at 16:02, RHCk сказал:

Исключено роботом 6970 страниц.

Почему исключены? Что с ними не так?

Если товаров пусть 23К, почему загруженных страниц 27К и их число увеличивается? Отдаются дубли или фильтр. Проверяйте sitemap.

Как давно сайт начал индексироваться?

Expand  

по 404 мне в общем понятно. видимо не часто робот информацию обновляет.Сайтмэп вроде раза три заново отправлял 

в robots практически все ссылки такие, не знаю должны они там быть или нет  /index.php?route=product/search&tag=

по noindex мне непонятно, где стоит этот noindex и зачем он там стоит (?), ссылки нормальные рабочие.Если речь про админку, то у всех товаров и категорий индексация включена.

и по дате не все понятно, робот последний раз 30.11 был ?

  Показать содержимое

 

как проверить существование дублей и как проверить sitemap ?

 

что значит документ неканонический ? как исправить ?

судя по дате, там ссылки еще летние, этих ссылок давным давно нет.

  Показать содержимое

 

 

[RHCk]

  В 01.03.2016 at 23:52, spown сказал:

как проверить существование дублей и как проверить sitemap

Expand  

Используйте Netpeak Spider, там наглядно. После сканирования нажмите справа кнопку "Найти дубликаты", и внимательно изучайте ссылки.

Если будет мало инфы, используйте Screaming Frog SEO Spider.

На 404 ссылки можно проверить с помощью Xenu. У неё есть огромный плюс - она умеет в 100 потоков сканировать. Пользуйтесь этой особенностью очень аккуратно, я вот конкуренту случайно хостинг webassist'a положил (превышена максимальная нагрузка на сервер). Упс, никому об этом не рассказывайте

Зачем sitemap файлами отдавать? У вас же в PRO сборке модуль есть Sitemap Pro (Модули - Каналы продвижения - Sitemap Pro), настройте его.

  В 01.03.2016 at 23:52, spown сказал:

по noindex мне непонятно

Expand  

После сканирования будет понятно. Вкладка Ошибки.

  В 01.03.2016 at 23:52, spown сказал:

по дате не все понятно

Expand  

Дата последнего визита справа (согласно вашему рисунку)

 

По вашему сайту. Понятно что парсите инфу. Но у вас есть незаполненные теги, есть заполненные, но отличающиеся одним словом - ТМ производителя.

ПС это видят, и это для сайта плохо. Чуть более творчески подойдите чтоли. Используйте синонимы, так можно нагенерить больше гораздо вариантов.

Есть мнение, что ПС не обращают внимание на теги keywords и description, но заполняя keywords вы делаете страницу более уникальной, а description участвует в формировании сниппета (у Гоши точно, Яша иногда капризничает и берет что считает важным на странице)

 

P.S. Динамика, обозначенная в вебмастере красными стрелочками, требует пристального внимания. Стрелочки должны быть только зелёными

P.P.S. Такое ощущение, что при загрузке товару даются новые урлы, а со старых на новые переадресация не устанавливается. И это не правильная загрузка.

При загрузке проверка должна быть, на предмет наличия загружаемого в каталоге, и если загружаемый товар уже есть в каталоге магазина, по заданному алгоритму ему меняется цена, остаток на складе, но ни в коем случае не должен меняться URL.

[Blade]

Спасибо за советы.Посмотрю.Потом попробую написать что нибудь по результату, наверное совет еще понадобится

Инфа на сайте не парсится.Все выгружается с нашей 1С.В ней нет ничего кромен наименования.Описание и мета данные сделал по шаблону через BatchEditor ( пока нет времени сделать правильно).На сегодня они все полностью заполнены у всех товаров.

На счет изменения урла проверю обязательно при следующем обмене с 1С

[Blade]

  В 02.03.2016 at 00:21, RHCk сказал:

Зачем sitemap файлами отдавать? У вас же в PRO сборке модуль есть Sitemap Pro (Модули - Каналы продвижения - Sitemap Pro), настройте его.

Expand  

я файлами не отдаю.Я несколько раз делал так - вставлял ссылку на фал сайтмэр и нажимал "обновить".как будто новый отправил.Не знаю надо так или нет, но мысль была что бы яндекс прошел по нему как по новому, заново

Как можно настраивать Siremap PRO если там кроме двух ссылок ничего нет ?

[admin]

  В 02.03.2016 at 03:02, spown сказал:

Как можно настраивать Siremap PRO если там кроме двух ссылок ничего нет ?

Expand  

а чего его настраивать ?

он отдает новые ссылки если они появились к моменту обращения ПС

[Blade]

  В 02.03.2016 at 04:24, admin сказал:

а чего его настраивать ?

он отдает новые ссылки если они появились к моменту обращения ПС

Expand  

так и я про то же.

RHCk пишет - настройте его

 

[RHCk]

  В 02.03.2016 at 03:02, spown сказал:

Я несколько раз делал так - вставлял ссылку на фал сайтмэр

Expand  

Вы писали про файл, я про него вас и спросил. В Sitemap Pro не совсем ссылка на файл, а на динамическую страницу, которая всегда содержит актуальную информацию о ваших товарах (актуальный sitemap). Достаточно один раз указать её в вебмастере Гугла и Яндекса.

И если Яша загружает страниц больше, чем товаров в каталоге, то у вас что-то не так либо с sitemap, либо в robots.txt (не закрыт от индексации фильтр например).

  В 02.03.2016 at 01:34, spown сказал:

В ней нет ничего кроме наименования. Описание и мета данные сделал по шаблону через BatchEditor ( пока нет времени сделать правильно)

Expand  

С BatchEditor не работал, но модуль от usergio умеет генерировать теги при загрузке.

Поймите, я не с целью мозг ваш помучить говорю, но если у вас не будет времени сделать правильно, вряд ли у Яши будет время добавлять страницы в поиск.

  В 02.03.2016 at 01:34, spown сказал:

На сегодня они все полностью заполнены у всех товаров

Expand  

Теги есть и у категорий. У товаров в тегах меняется только название, в остальном они одинаковы. В keywords не обязательно title засовывать, там достаточно пяти слов.

 

Кириллица в ссылках присутствует у вас (site/bordyur-%E2%84%96-4.html). Слова написанные заглавными буквам есть в метатегах.

 

P.S. Это безусловно личное дело каждого, но я избавляюсь от сокращений в наименовании товара. В 1С по умолчанию в справочнике Номенклатура стоит ограничение в 100 символов для наименования. В конфигураторе можно увеличить. Также пробелы между словами и сокращенными словами не везде есть. Почитайте как обрабатываются ПС слова с ошибками (они не учитываются).

[Blade]

  В 02.03.2016 at 08:10, RHCk сказал:

Поймите, я не с целью мозг ваш помучить говорю, но если у вас не будет времени сделать правильно, вряд ли у Яши будет время добавлять страницы в поиск.

Теги есть и у категорий. У товаров в тегах меняется только название, в остальном они одинаковы. В keywords не обязательно title засовывать, там достаточно пяти слов.

Кириллица в ссылках присутствует у вас (site/bordyur-%E2%84%96-4.html). Слова написанные заглавными буквам есть в метатегах.

P.S. Это безусловно личное дело каждого, но я избавляюсь от сокращений в наименовании товара. В 1С по умолчанию в справочнике Номенклатура стоит ограничение в 100 символов для наименования. В конфигураторе можно увеличить. Также пробелы между словами и сокращенными словами не везде есть. Почитайте как обрабатываются ПС слова с ошибками (они не учитываются).

Expand  

Да наоборот нормально.Может пойму в этом быстрее.Спасибо.

что надо сделать что бы кириллицы в ссылках не было ?

в метатегах нельзя использовать заглавные буквы ? во всех h1, titile. keywords. description ?

С сокращениями пока борюсь в 1С.Там больше 20000 наименований, запарился уже исправлять.Конечно сокращений быть не должно.Исправляю по группе категории и выгружаю, но получается медленно.

 

и главное непонятно, если сайтмэп всегда актуален, откуда тогда берутся ссылки на уже несуществующий товар ?

[RHCk]

  В 02.03.2016 at 08:57, spown сказал:

что надо сделать что бы кириллицы в ссылках не было?

Expand  

Исправить ручками. Затем посмотреть, откуда они берутся. Если на этапе загрузки так генерятся - исправить генерилку.

  В 02.03.2016 at 08:57, spown сказал:

в метатегах нельзя использовать заглавные буквы? во всех h1, titile, keywords, description?

Expand  

Использовать можно, но не так - Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ. Пишите как обычно, согласно правилам языка.

  В 02.03.2016 at 08:57, spown сказал:

С сокращениями пока борюсь в 1С.

Expand  

1С какой версии используете? Ещё очень удобно сделать шаблон наименования и переименовывать номенклатуру согласно этому шаблону. Например, <Наименование товара> <Артикул> (<Производитель>) или <Наименование товара><Производитель><Артикул>(<Вес, объем>).

  В 02.03.2016 at 08:57, spown сказал:

и главное непонятно, если сайтмэп всегда актуален, откуда тогда берутся ссылки на уже несуществующий товар ?

Expand  

По какому параметру вы идентифицируете товар при выгрузке на сайт? Если по наименованию, то после переименования в 1С будет дубль на сайте. Если по артикулу, то не изменяйте артикулы в 1С. Лучше всего при выгрузке/загрузке использовать Код товара из 1С, она сама следит за его уникальностью, и тогда проблема с идентификацией будет решена.

Ещё как идентификатор можно использовать штрихкод, но тут от производителя зависит - некоторые одним штрихкодом маркируют серию товаров, нужно смотреть.

 

P.S. Ваш сайт - Время сканирования 02:27:00 Проанализировано: 25419 В очереди: 19027

P.P.S. Скачайте XMind, сделайте структуру сайта и смотрите, что и куда у вас загружается и должно загружаться. Когда видно наглядно - всегда легче разобраться. Ещё момент, структуру сайта (дерево категорий), на мой взгляд, лучше всегда создавать самому, и давать им корректные URL'ы - это скелет, а потом загружать что нужно и куда нужно. А когда в структуру вмешиваются парсеры и загрузчики, получается Попуа Новая Гвинея

[RHCk]

Однако-с...

[Blade]

  В 02.03.2016 at 17:06, RHCk сказал:

Однако-с...

Expand  

это плохо или какие то проблемы у меня ? серьезно, не понимаю

[Blade]

  В 02.03.2016 at 09:54, RHCk сказал:

Исправить ручками. Затем посмотреть, откуда они берутся. Если на этапе загрузки так генерятся - исправить генерилку.

Использовать можно, но не так - Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ. Пишите как обычно, согласно правилам языка.

1С какой версии используете? Ещё очень удобно сделать шаблон наименования и переименовывать номенклатуру согласно этому шаблону. Например, <Наименование товара> <Артикул> (<Производитель>) или <Наименование товара><Производитель><Артикул>(<Вес, объем>).

По какому параметру вы идентифицируете товар при выгрузке на сайт? Если по наименованию, то после переименования в 1С будет дубль на сайте. Если по артикулу, то не изменяйте артикулы в 1С. Лучше всего при выгрузке/загрузке использовать Код товара из 1С, она сама следит за его уникальностью, и тогда проблема с идентификацией будет решена.

Ещё как идентификатор можно использовать штрихкод, но тут от производителя зависит - некоторые одним штрихкодом маркируют серию товаров, нужно смотреть.

 

P.S. Ваш сайт - Время сканирования 02:27:00 Проанализировано: 25419 В очереди: 19027

P.P.S. Скачайте XMind, сделайте структуру сайта и смотрите, что и куда у вас загружается и должно загружаться. Когда видно наглядно - всегда легче разобраться. Ещё момент, структуру сайта (дерево категорий), на мой взгляд, лучше всегда создавать самому, и давать им корректные URL'ы - это скелет, а потом загружать что нужно и куда нужно. А когда в структуру вмешиваются парсеры и загрузчики, получается Попуа Новая Гвинея

Expand  

Ссылки генерит сам опенкарт стандартно.Почему берутся ссылки такого вида пока не знаю.Должны быть которкими, без вложенных категорий.

Еще три прайса я залил через автоматическую обработку прайсов (игрался с модулем).Может это он так сгенерил.

"Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ" так в шаблоне не ставил точно.Это может быть в самом названии."ЛАК" например.Пока исправляю.

1С 10.3 Управление торговлей.Переименовываю именно там.На счет дублей не знал.Выход как я понимаю - удалить все товары в базе и залить по новой ?

Как переименовать по шаблону ? Это в 1С или на самом сайте можно ?

Идентификация по коду.У меня код и артикул одинаковые.Копируются друг в друга обработкой.разные только у спарсенных товаров.

Штрих коды у меня тоже стоят на автомате.При заведении новой номенклатуры он просто сам генерится.Стоит проверка на уникальность.

Структура сайта берется из структуры 1С.Все зеркально.Другого выхода пока не нашел.При изменении становится очень неудобно либо на сайте либо в 1С.Приходится выбирать что то среднее.

 

 

[RHCk]

  В 02.03.2016 at 21:52, spown сказал:

это плохо или

Expand  

Насколько я понимаю, это плохо, и это причина постоянного прироста загруженных ссылок в яндексе.

  В 02.03.2016 at 22:01, spown сказал:

Должны быть которкими

Expand  

Категории в URL'е отключены?

  В 02.03.2016 at 22:01, spown сказал:

Может это он так сгенерил.

Expand  

Это можно уточнить у автора.

  В 02.03.2016 at 22:01, spown сказал:

игрался с модулем

Expand  

Могу ошибаться, но если мне хочется поиграться, я играюсь на игровом сайте. Если велик соблазн поиграться с рабочим сайтом, то для этого можно создать несколько категорий, закрыть их от индексации в robots.txt и играться.

В УТ10.3 товару можно задавать несколько параметров, не внося их в само название, и выгрузкой передавать на сайт.

  В 02.03.2016 at 22:01, spown сказал:

Как переименовать по шаблону ? Это в 1С или на самом сайте можно ?

Expand  

Переименовать по шаблону можно, если составляющие шаблона у вас отдельно хранятся, а если у вас всё есть только в наименовании, то думаю только руками.

  В 02.03.2016 at 22:01, spown сказал:

Идентификация по коду

Expand  

Имелся в виду Код товара в УТ. Его логичнее использовать как идентификатор товара при загрузке на сайт. Потому как в УТ он уникален точно, а артикул может быть вполне себе не уникальным.

  В 02.03.2016 at 22:01, spown сказал:

Штрих коды у меня тоже стоят на автомате

Expand  

Штрихкод был как дополнительный вариант. Если вы его не используете при продаже, на складе и т.д., то он не нужен.

  В 02.03.2016 at 22:01, spown сказал:

Структура сайта берется из структуры 1С

Expand  

Структуру можно продумать и привести к ней и сайт, и УТ, при желании разумеется.

 

Ещё момент, вы пробовали посмотреть что отдает Sitemap Pro и за какое время? Я ждал порядка 15-20 секунд. Будут ли ПС столько ждать, нужно поспрашивать, может кто знает ответ. Сканирование остановил, получилось вот так:

Проверил свои сайты, страниц немногим больше чем товаров, но так и должно быть.

 

P.S. Есть стойкое ощущение, что на сайте месиво из нескольких модулей. Могу ошибаться. Поспрашивайте, здесь есть кто может ответить, нужно лишь быть чуть настойчивее и более сконцентрированным при формулировке вопроса

[Blade]

  В 02.03.2016 at 22:24, RHCk сказал:

Насколько я понимаю, это плохо, и это причина постоянного прироста загруженных ссылок в яндексе.

Категории в URL'е отключены?

Имелся в виду Код товара в УТ. Его логичнее использовать как идентификатор товара при загрузке на сайт. Потому как в УТ он уникален точно, а артикул может быть вполне себе не уникальным.

Структуру можно продумать и привести к ней и сайт, и УТ, при желании разумеется.

 

Ещё момент, вы пробовали посмотреть что отдает Sitemap Pro и за какое время? Я ждал порядка 15-20 секунд. Будут ли ПС столько ждать, нужно поспрашивать, может кто знает ответ. Сканирование остановил, получилось вот так:

Проверил свои сайты, страниц немногим больше чем товаров, но так и должно быть.

 

P.S. Есть стойкое ощущение, что на сайте месиво из нескольких модулей. Могу ошибаться. Поспрашивайте, здесь есть кто может ответить, нужно лишь быть чуть настойчивее и более сконцентрированным при формулировке вопроса

Expand  

каким то образом удаляются дубликаты ссылок ? их (то что их несколько) можно увидеть где то в админке или базе данных ? я понятия не имею где они хранятся.

категории в урле отключены

Я про код товара в УТ и говорю.Выгружается с привязкой по коду

Про сайтмэп и долгую загрузку знаю.Но как это ускорить понятия не имею.Я не знаю что влияет на это время и чем оно регулируется

 

зы получается что если у меня например товаров 21000-22000, то ссылок должно быть максимум 25000, а не 71860 ?

[RHCk]

  В 02.03.2016 at 23:43, spown сказал:

каким то образом удаляются дубликаты ссылок

Expand  

Если движок работает корректно, дублей быть не должно. В нем есть всё, чтобы их не было. Если не решается средствами движка, т.е. ситуация безвыходная (это не ваша ситуация), их можно склеить в .htaccess через 301 редирект.

  В 02.03.2016 at 23:43, spown сказал:

можно увидеть где

Expand  

С помощью программ, о которых писал ранее. В интерфейсе вебмастера.

  В 02.03.2016 at 23:43, spown сказал:

Но как это ускорить понятия не имею.Я не знаю что влияет на это время и чем оно регулируется

Expand  

Первое, что приходит в голову - хостинг. Дальше уже движок. Кому позадавать вопросы я вам написал

  В 02.03.2016 at 23:43, spown сказал:

получается что если у меня

Expand  

<21000-22000> + <страницы категорий> + <блог> + <технические страницы> + возможно ещё что-то, но не много

[Blade]

Что очень хотелось бы понять это то почему вдруг у меня из индекса пропало 12000 страниц однима махом.

 

  Показать содержимое

 

 

что интересно это произошло через 4-5 дней после установки шаблона от XDS.Может как то связано с этим ?

[Blade]

Спрошу здесь, что бы тему не создавать.Надеюсь до прихода Йоды кто нибудь ответит

Вопрос про Гугл сайтмэп

Если сайтмэп все время актуален, почему у него есть ошибки " Недействительный URL" ?

Как найти именно эти строки что бы понять какие товары надо посмотреть ?

В строке 6223 написано

<url><loc>http://st-sklad.ru/mufta-perehodnaya-32-20-ar.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>Муфта переходная 32*20 АР</image:caption><image:title>Муфта переходная 32*20 АР</image:title></image:image></url>

В 7330

<url><loc>http://st-sklad.ru/aerator-plastikovyj-skrytyj-swes-limit-pc2411-100sht.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>аэратор пластиковый, скрытый SWES LIMIT PC2411 (100шт)</image:caption><image:title>аэратор пластиковый, скрытый SWES LIMIT PC2411 (100шт)</image:title></image:image></url>

В 7331

<url><loc>http://st-sklad.ru/aerator-plastikovyj-swes-limit-pc1224-100sht.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>аэратор пластиковый SWES LIMIT PC1224 (100шт)</image:caption><image:title>аэратор пластиковый SWES LIMIT PC1224 (100шт)</image:title></image:image></url>

 

Но в чем ошибка я не понимаю (если это эти строки), по ссылкам проходит.Единственное нет картинки по умолчанию.А так вроде все хорошо.

 

  Показать содержимое

 

  Показать содержимое

 

[RHCk]

  В 05.04.2016 at 07:05, spown сказал:

Как найти именно эти строки что бы понять какие товары надо посмотреть ?

Expand  

Откройте фид браузером, ПКМ - Сохранить как... -> index.xml

Далее откройте его редактором Notepad++, он нумерует строки

  В 05.04.2016 at 07:05, spown сказал:

Но в чем ошибка я не понимаю

Expand  

Повесьте товару заглушку в качестве картинки, ту что при создании товара по умолчанию стоит, и посмотрите какой будет результат

  В 05.04.2016 at 07:05, spown сказал:

А так вроде все хорошо

Expand  

Пока есть ошибки, это не хорошо.

 

P.S. Не пишите одно и то же в краткое описание и в полное. ПС видят что текст на странице дублируется, двойного эффекта не будет, инфа 143%

[Blade]

  В 05.04.2016 at 08:52, RHCk сказал:

P.S. Не пишите одно и то же в краткое описание и в полное. ПС видят что текст на странице дублируется, двойного эффекта не будет, инфа 143%

Expand  

Вот тут точно совет нужен

Описание же в одном месте прописывается.И часть из него идет в короткое.

Как заполнять их раздельно ?

[RHCk]

  В 05.04.2016 at 09:17, spown сказал:

Как заполнять их раздельно ?

Expand  

Не выводить краткое описание на странице товара. ИМХО самый простой вариант.