Индексация Яндекс

[Blade]

Сколько ни читал, так толком и не понял.Объясните в двух словах что не так, или если все так то почему именно так

Что значат эти цифры и почему такая разница ?

 

 

Товаров точно не знаю сколько, но около 21000-23000 должно быть

 

Что то срочно надо исправить ?

[Blade]

Ну в общем и целом основную суть индексации понял

Спасибо

я думал есть проблемы технического плана, а с моральным разберусь

[RHCk]

1 час назад, spown сказал:

проблемы технического плана

Исключено роботом 6970 страниц.

Почему исключены? Что с ними не так?

Если товаров пусть 23К, почему загруженных страниц 27К и их число увеличивается? Отдаются дубли или фильтр. Проверяйте sitemap.

Как давно сайт начал индексироваться?

[Blade]

7 часов назад, RHCk сказал:

Исключено роботом 6970 страниц.

Почему исключены? Что с ними не так?

Если товаров пусть 23К, почему загруженных страниц 27К и их число увеличивается? Отдаются дубли или фильтр. Проверяйте sitemap.

Как давно сайт начал индексироваться?

по 404 мне в общем понятно. видимо не часто робот информацию обновляет.Сайтмэп вроде раза три заново отправлял 

в robots практически все ссылки такие, не знаю должны они там быть или нет  /index.php?route=product/search&tag=

по noindex мне непонятно, где стоит этот noindex и зачем он там стоит (?), ссылки нормальные рабочие.Если речь про админку, то у всех товаров и категорий индексация включена.

и по дате не все понятно, робот последний раз 30.11 был ?

Скрытый текст

 

как проверить существование дублей и как проверить sitemap ?

 

что значит документ неканонический ? как исправить ?

судя по дате, там ссылки еще летние, этих ссылок давным давно нет.

Скрытый текст

 

 

[RHCk]

30 минуты назад, spown сказал:

как проверить существование дублей и как проверить sitemap

Используйте Netpeak Spider, там наглядно. После сканирования нажмите справа кнопку "Найти дубликаты", и внимательно изучайте ссылки.

Если будет мало инфы, используйте Screaming Frog SEO Spider.

На 404 ссылки можно проверить с помощью Xenu. У неё есть огромный плюс - она умеет в 100 потоков сканировать. Пользуйтесь этой особенностью очень аккуратно, я вот конкуренту случайно хостинг webassist'a положил (превышена максимальная нагрузка на сервер). Упс, никому об этом не рассказывайте

Зачем sitemap файлами отдавать? У вас же в PRO сборке модуль есть Sitemap Pro (Модули - Каналы продвижения - Sitemap Pro), настройте его.

30 минуты назад, spown сказал:

по noindex мне непонятно

После сканирования будет понятно. Вкладка Ошибки.

30 минуты назад, spown сказал:

по дате не все понятно

Дата последнего визита справа (согласно вашему рисунку)

 

По вашему сайту. Понятно что парсите инфу. Но у вас есть незаполненные теги, есть заполненные, но отличающиеся одним словом - ТМ производителя.

ПС это видят, и это для сайта плохо. Чуть более творчески подойдите чтоли. Используйте синонимы, так можно нагенерить больше гораздо вариантов.

Есть мнение, что ПС не обращают внимание на теги keywords и description, но заполняя keywords вы делаете страницу более уникальной, а description участвует в формировании сниппета (у Гоши точно, Яша иногда капризничает и берет что считает важным на странице)

 

P.S. Динамика, обозначенная в вебмастере красными стрелочками, требует пристального внимания. Стрелочки должны быть только зелёными

P.P.S. Такое ощущение, что при загрузке товару даются новые урлы, а со старых на новые переадресация не устанавливается. И это не правильная загрузка.

При загрузке проверка должна быть, на предмет наличия загружаемого в каталоге, и если загружаемый товар уже есть в каталоге магазина, по заданному алгоритму ему меняется цена, остаток на складе, но ни в коем случае не должен меняться URL.

[Blade]

Спасибо за советы.Посмотрю.Потом попробую написать что нибудь по результату, наверное совет еще понадобится

Инфа на сайте не парсится.Все выгружается с нашей 1С.В ней нет ничего кромен наименования.Описание и мета данные сделал по шаблону через BatchEditor ( пока нет времени сделать правильно).На сегодня они все полностью заполнены у всех товаров.

На счет изменения урла проверю обязательно при следующем обмене с 1С

[Blade]

2 часа назад, RHCk сказал:

Зачем sitemap файлами отдавать? У вас же в PRO сборке модуль есть Sitemap Pro (Модули - Каналы продвижения - Sitemap Pro), настройте его.

я файлами не отдаю.Я несколько раз делал так - вставлял ссылку на фал сайтмэр и нажимал "обновить".как будто новый отправил.Не знаю надо так или нет, но мысль была что бы яндекс прошел по нему как по новому, заново

Как можно настраивать Siremap PRO если там кроме двух ссылок ничего нет ?

[admin]

1 час назад, spown сказал:

Как можно настраивать Siremap PRO если там кроме двух ссылок ничего нет ?

а чего его настраивать ?

он отдает новые ссылки если они появились к моменту обращения ПС

[Blade]

3 минуты назад, admin сказал:

а чего его настраивать ?

он отдает новые ссылки если они появились к моменту обращения ПС

так и я про то же.

RHCk пишет - настройте его

 

[RHCk]

5 часов назад, spown сказал:

Я несколько раз делал так - вставлял ссылку на фал сайтмэр

Вы писали про файл, я про него вас и спросил. В Sitemap Pro не совсем ссылка на файл, а на динамическую страницу, которая всегда содержит актуальную информацию о ваших товарах (актуальный sitemap). Достаточно один раз указать её в вебмастере Гугла и Яндекса.

И если Яша загружает страниц больше, чем товаров в каталоге, то у вас что-то не так либо с sitemap, либо в robots.txt (не закрыт от индексации фильтр например).

6 часов назад, spown сказал:

В ней нет ничего кроме наименования. Описание и мета данные сделал по шаблону через BatchEditor ( пока нет времени сделать правильно)

С BatchEditor не работал, но модуль от usergio умеет генерировать теги при загрузке.

Поймите, я не с целью мозг ваш помучить говорю, но если у вас не будет времени сделать правильно, вряд ли у Яши будет время добавлять страницы в поиск.

6 часов назад, spown сказал:

На сегодня они все полностью заполнены у всех товаров

Теги есть и у категорий. У товаров в тегах меняется только название, в остальном они одинаковы. В keywords не обязательно title засовывать, там достаточно пяти слов.

 

Кириллица в ссылках присутствует у вас (site/bordyur-%E2%84%96-4.html). Слова написанные заглавными буквам есть в метатегах.

 

P.S. Это безусловно личное дело каждого, но я избавляюсь от сокращений в наименовании товара. В 1С по умолчанию в справочнике Номенклатура стоит ограничение в 100 символов для наименования. В конфигураторе можно увеличить. Также пробелы между словами и сокращенными словами не везде есть. Почитайте как обрабатываются ПС слова с ошибками (они не учитываются).

[Blade]

48 минуты назад, RHCk сказал:

Поймите, я не с целью мозг ваш помучить говорю, но если у вас не будет времени сделать правильно, вряд ли у Яши будет время добавлять страницы в поиск.

Теги есть и у категорий. У товаров в тегах меняется только название, в остальном они одинаковы. В keywords не обязательно title засовывать, там достаточно пяти слов.

Кириллица в ссылках присутствует у вас (site/bordyur-%E2%84%96-4.html). Слова написанные заглавными буквам есть в метатегах.

P.S. Это безусловно личное дело каждого, но я избавляюсь от сокращений в наименовании товара. В 1С по умолчанию в справочнике Номенклатура стоит ограничение в 100 символов для наименования. В конфигураторе можно увеличить. Также пробелы между словами и сокращенными словами не везде есть. Почитайте как обрабатываются ПС слова с ошибками (они не учитываются).

Да наоборот нормально.Может пойму в этом быстрее.Спасибо.

что надо сделать что бы кириллицы в ссылках не было ?

в метатегах нельзя использовать заглавные буквы ? во всех h1, titile. keywords. description ?

С сокращениями пока борюсь в 1С.Там больше 20000 наименований, запарился уже исправлять.Конечно сокращений быть не должно.Исправляю по группе категории и выгружаю, но получается медленно.

 

и главное непонятно, если сайтмэп всегда актуален, откуда тогда берутся ссылки на уже несуществующий товар ?

[RHCk]

58 минут назад, spown сказал:

что надо сделать что бы кириллицы в ссылках не было?

Исправить ручками. Затем посмотреть, откуда они берутся. Если на этапе загрузки так генерятся - исправить генерилку.

58 минут назад, spown сказал:

в метатегах нельзя использовать заглавные буквы? во всех h1, titile, keywords, description?

Использовать можно, но не так - Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ. Пишите как обычно, согласно правилам языка.

58 минут назад, spown сказал:

С сокращениями пока борюсь в 1С.

1С какой версии используете? Ещё очень удобно сделать шаблон наименования и переименовывать номенклатуру согласно этому шаблону. Например, <Наименование товара> <Артикул> (<Производитель>) или <Наименование товара><Производитель><Артикул>(<Вес, объем>).

58 минут назад, spown сказал:

и главное непонятно, если сайтмэп всегда актуален, откуда тогда берутся ссылки на уже несуществующий товар ?

По какому параметру вы идентифицируете товар при выгрузке на сайт? Если по наименованию, то после переименования в 1С будет дубль на сайте. Если по артикулу, то не изменяйте артикулы в 1С. Лучше всего при выгрузке/загрузке использовать Код товара из 1С, она сама следит за его уникальностью, и тогда проблема с идентификацией будет решена.

Ещё как идентификатор можно использовать штрихкод, но тут от производителя зависит - некоторые одним штрихкодом маркируют серию товаров, нужно смотреть.

 

P.S. Ваш сайт - Время сканирования 02:27:00 Проанализировано: 25419 В очереди: 19027

P.P.S. Скачайте XMind, сделайте структуру сайта и смотрите, что и куда у вас загружается и должно загружаться. Когда видно наглядно - всегда легче разобраться. Ещё момент, структуру сайта (дерево категорий), на мой взгляд, лучше всегда создавать самому, и давать им корректные URL'ы - это скелет, а потом загружать что нужно и куда нужно. А когда в структуру вмешиваются парсеры и загрузчики, получается Попуа Новая Гвинея

[RHCk]

Однако-с...

[Blade]

4 часа назад, RHCk сказал:

Однако-с...

это плохо или какие то проблемы у меня ? серьезно, не понимаю

[Blade]

11 час назад, RHCk сказал:

Исправить ручками. Затем посмотреть, откуда они берутся. Если на этапе загрузки так генерятся - исправить генерилку.

Использовать можно, но не так - Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ. Пишите как обычно, согласно правилам языка.

1С какой версии используете? Ещё очень удобно сделать шаблон наименования и переименовывать номенклатуру согласно этому шаблону. Например, <Наименование товара> <Артикул> (<Производитель>) или <Наименование товара><Производитель><Артикул>(<Вес, объем>).

По какому параметру вы идентифицируете товар при выгрузке на сайт? Если по наименованию, то после переименования в 1С будет дубль на сайте. Если по артикулу, то не изменяйте артикулы в 1С. Лучше всего при выгрузке/загрузке использовать Код товара из 1С, она сама следит за его уникальностью, и тогда проблема с идентификацией будет решена.

Ещё как идентификатор можно использовать штрихкод, но тут от производителя зависит - некоторые одним штрихкодом маркируют серию товаров, нужно смотреть.

 

P.S. Ваш сайт - Время сканирования 02:27:00 Проанализировано: 25419 В очереди: 19027

P.P.S. Скачайте XMind, сделайте структуру сайта и смотрите, что и куда у вас загружается и должно загружаться. Когда видно наглядно - всегда легче разобраться. Ещё момент, структуру сайта (дерево категорий), на мой взгляд, лучше всегда создавать самому, и давать им корректные URL'ы - это скелет, а потом загружать что нужно и куда нужно. А когда в структуру вмешиваются парсеры и загрузчики, получается Попуа Новая Гвинея

Ссылки генерит сам опенкарт стандартно.Почему берутся ссылки такого вида пока не знаю.Должны быть которкими, без вложенных категорий.

Еще три прайса я залил через автоматическую обработку прайсов (игрался с модулем).Может это он так сгенерил.

"Лак для пола от СУПЕРПРОИЗВОДИТЕЛЯ" так в шаблоне не ставил точно.Это может быть в самом названии."ЛАК" например.Пока исправляю.

1С 10.3 Управление торговлей.Переименовываю именно там.На счет дублей не знал.Выход как я понимаю - удалить все товары в базе и залить по новой ?

Как переименовать по шаблону ? Это в 1С или на самом сайте можно ?

Идентификация по коду.У меня код и артикул одинаковые.Копируются друг в друга обработкой.разные только у спарсенных товаров.

Штрих коды у меня тоже стоят на автомате.При заведении новой номенклатуры он просто сам генерится.Стоит проверка на уникальность.

Структура сайта берется из структуры 1С.Все зеркально.Другого выхода пока не нашел.При изменении становится очень неудобно либо на сайте либо в 1С.Приходится выбирать что то среднее.

 

 

[RHCk]

34 минуты назад, spown сказал:

это плохо или

Насколько я понимаю, это плохо, и это причина постоянного прироста загруженных ссылок в яндексе.

25 минуты назад, spown сказал:

Должны быть которкими

Категории в URL'е отключены?

25 минуты назад, spown сказал:

Может это он так сгенерил.

Это можно уточнить у автора.

25 минуты назад, spown сказал:

игрался с модулем

Могу ошибаться, но если мне хочется поиграться, я играюсь на игровом сайте. Если велик соблазн поиграться с рабочим сайтом, то для этого можно создать несколько категорий, закрыть их от индексации в robots.txt и играться.

В УТ10.3 товару можно задавать несколько параметров, не внося их в само название, и выгрузкой передавать на сайт.

25 минуты назад, spown сказал:

Как переименовать по шаблону ? Это в 1С или на самом сайте можно ?

Переименовать по шаблону можно, если составляющие шаблона у вас отдельно хранятся, а если у вас всё есть только в наименовании, то думаю только руками.

25 минуты назад, spown сказал:

Идентификация по коду

Имелся в виду Код товара в УТ. Его логичнее использовать как идентификатор товара при загрузке на сайт. Потому как в УТ он уникален точно, а артикул может быть вполне себе не уникальным.

25 минуты назад, spown сказал:

Штрих коды у меня тоже стоят на автомате

Штрихкод был как дополнительный вариант. Если вы его не используете при продаже, на складе и т.д., то он не нужен.

25 минуты назад, spown сказал:

Структура сайта берется из структуры 1С

Структуру можно продумать и привести к ней и сайт, и УТ, при желании разумеется.

 

Ещё момент, вы пробовали посмотреть что отдает Sitemap Pro и за какое время? Я ждал порядка 15-20 секунд. Будут ли ПС столько ждать, нужно поспрашивать, может кто знает ответ. Сканирование остановил, получилось вот так:

Проверил свои сайты, страниц немногим больше чем товаров, но так и должно быть.

 

P.S. Есть стойкое ощущение, что на сайте месиво из нескольких модулей. Могу ошибаться. Поспрашивайте, здесь есть кто может ответить, нужно лишь быть чуть настойчивее и более сконцентрированным при формулировке вопроса

[Blade]

1 час назад, RHCk сказал:

Насколько я понимаю, это плохо, и это причина постоянного прироста загруженных ссылок в яндексе.

Категории в URL'е отключены?

Имелся в виду Код товара в УТ. Его логичнее использовать как идентификатор товара при загрузке на сайт. Потому как в УТ он уникален точно, а артикул может быть вполне себе не уникальным.

Структуру можно продумать и привести к ней и сайт, и УТ, при желании разумеется.

 

Ещё момент, вы пробовали посмотреть что отдает Sitemap Pro и за какое время? Я ждал порядка 15-20 секунд. Будут ли ПС столько ждать, нужно поспрашивать, может кто знает ответ. Сканирование остановил, получилось вот так:

Проверил свои сайты, страниц немногим больше чем товаров, но так и должно быть.

 

P.S. Есть стойкое ощущение, что на сайте месиво из нескольких модулей. Могу ошибаться. Поспрашивайте, здесь есть кто может ответить, нужно лишь быть чуть настойчивее и более сконцентрированным при формулировке вопроса

каким то образом удаляются дубликаты ссылок ? их (то что их несколько) можно увидеть где то в админке или базе данных ? я понятия не имею где они хранятся.

категории в урле отключены

Я про код товара в УТ и говорю.Выгружается с привязкой по коду

Про сайтмэп и долгую загрузку знаю.Но как это ускорить понятия не имею.Я не знаю что влияет на это время и чем оно регулируется

 

зы получается что если у меня например товаров 21000-22000, то ссылок должно быть максимум 25000, а не 71860 ?

[RHCk]

1 минуту назад, spown сказал:

каким то образом удаляются дубликаты ссылок

Если движок работает корректно, дублей быть не должно. В нем есть всё, чтобы их не было. Если не решается средствами движка, т.е. ситуация безвыходная (это не ваша ситуация), их можно склеить в .htaccess через 301 редирект.

3 минуты назад, spown сказал:

можно увидеть где

С помощью программ, о которых писал ранее. В интерфейсе вебмастера.

5 минут назад, spown сказал:

Но как это ускорить понятия не имею.Я не знаю что влияет на это время и чем оно регулируется

Первое, что приходит в голову - хостинг. Дальше уже движок. Кому позадавать вопросы я вам написал

7 минут назад, spown сказал:

получается что если у меня

<21000-22000> + <страницы категорий> + <блог> + <технические страницы> + возможно ещё что-то, но не много

[Blade]

Что очень хотелось бы понять это то почему вдруг у меня из индекса пропало 12000 страниц однима махом.

 

Скрытый текст

 

 

что интересно это произошло через 4-5 дней после установки шаблона от XDS.Может как то связано с этим ?

[Blade]

Спрошу здесь, что бы тему не создавать.Надеюсь до прихода Йоды кто нибудь ответит

Вопрос про Гугл сайтмэп

Если сайтмэп все время актуален, почему у него есть ошибки " Недействительный URL" ?

Как найти именно эти строки что бы понять какие товары надо посмотреть ?

В строке 6223 написано

<url><loc>http://st-sklad.ru/mufta-perehodnaya-32-20-ar.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>Муфта переходная 32*20 АР</image:caption><image:title>Муфта переходная 32*20 АР</image:title></image:image></url>

В 7330

<url><loc>http://st-sklad.ru/aerator-plastikovyj-skrytyj-swes-limit-pc2411-100sht.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>аэратор пластиковый, скрытый SWES LIMIT PC2411 (100шт)</image:caption><image:title>аэратор пластиковый, скрытый SWES LIMIT PC2411 (100шт)</image:title></image:image></url>

В 7331

<url><loc>http://st-sklad.ru/aerator-plastikovyj-swes-limit-pc1224-100sht.html</loc><changefreq>weekly</changefreq><priority>1.0</priority><image:image><image:loc></image:loc><image:caption>аэратор пластиковый SWES LIMIT PC1224 (100шт)</image:caption><image:title>аэратор пластиковый SWES LIMIT PC1224 (100шт)</image:title></image:image></url>

 

Но в чем ошибка я не понимаю (если это эти строки), по ссылкам проходит.Единственное нет картинки по умолчанию.А так вроде все хорошо.

 

Скрытый текст

 

Скрытый текст

 

[RHCk]

1 час назад, spown сказал:

Как найти именно эти строки что бы понять какие товары надо посмотреть ?

Откройте фид браузером, ПКМ - Сохранить как... -> index.xml

Далее откройте его редактором Notepad++, он нумерует строки

1 час назад, spown сказал:

Но в чем ошибка я не понимаю

Повесьте товару заглушку в качестве картинки, ту что при создании товара по умолчанию стоит, и посмотрите какой будет результат

1 час назад, spown сказал:

А так вроде все хорошо

Пока есть ошибки, это не хорошо.

 

P.S. Не пишите одно и то же в краткое описание и в полное. ПС видят что текст на странице дублируется, двойного эффекта не будет, инфа 143%

[Blade]

22 минуты назад, RHCk сказал:

P.S. Не пишите одно и то же в краткое описание и в полное. ПС видят что текст на странице дублируется, двойного эффекта не будет, инфа 143%

Вот тут точно совет нужен

Описание же в одном месте прописывается.И часть из него идет в короткое.

Как заполнять их раздельно ?

[RHCk]

49 минут назад, spown сказал:

Как заполнять их раздельно ?

Не выводить краткое описание на странице товара. ИМХО самый простой вариант.