Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?

[tamweb]

Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?
Вот каталог Каталог
Вот вторая страница страница 2

Что нужно и как прописать?
 

[admin]

магазин у вас на чем ?

[tamweb]

опенкарт

[admin]

5 минут назад, tamweb сказал:

опенкарт

какой, версия и сборка

[admin]

уже увидел что окстор

ниже этого

Disallow: /*?sort=

добавьте отак

Disallow: /*?page=

 

[tamweb]

3 часа назад, admin сказал:

добавьте отак

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.

Но в тоже время сами товары конечно оставить для индексации.

[admin]

9 часов назад, tamweb сказал:

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.

Но в тоже время сами товары конечно оставить для индексации.

ну так так оно и будет

[tamweb]

В 26.12.2018 at 06:42, admin сказал:

ну так так оно и будет

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?
Ведь товары есть в карте сайта.

[admin]

47 минут назад, tamweb сказал:

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?

самую малость, по этой причине у нас в сборке эти страницы закрыты через ноиндекс

48 минут назад, tamweb сказал:

Ведь товары есть в карте сайта.

пс да их найдет

[tamweb]

22 минуты назад, admin сказал:

самую малость, по этой причине у нас в сборке эти страницы закрыты через ноиндекс

это допустимое решение?

или лучше делать через указание канонической страницы? ... подключив спец. модули.

[admin]

9 минут назад, tamweb сказал:

это допустимое решение?

да

[ivanzp]

В 28.12.2018 at 12:55, tamweb сказал:

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?
Ведь товары есть в карте сайта.

А это на пользу сайту или нет? Насколько желательно закрыть эти страницы "page2,3,4, и т.д."

[ivanzp]

14 часа назад, Yoda сказал:

Лучше не запрещать обход, но закрывать для индексации. И иметь canonical.

что значит не запрещать обход но закрывать для индексации? Все таки закрывать или нет?

[Kot Matvey]

В 19.01.2019 at 12:05, Yoda сказал:

https://developers.google.com/search/reference/robots_meta_tag?hl=ru

То есть оптимально на страницах пагинации размещать - "prev", "next" для гугла, тег каноникал на основную страницу категории и мета-теги:

<meta name="robots" content="noindex, follow" /> ?

 

<meta name="robots" content="noindex" /> - если вот так follow явно не прописан, это тоже самое что и мета-тег выше или отличается?

 

Сейчас в гугл консоли более тысячи страниц с page в "Страница проиндексирована, но ее нет в файле Sitemap". Такой же бардак и в Яндекс Вебмастере.

Это жеж не есть хорошо? Надо избавляться от таких страниц в индексе гугла и яндекса?

Скрытый текст

 

[Kot Matvey]

1 час назад, Yoda сказал:

Да это не очень. Скорее всего у вас нестандартный шаблон. И где-то пролюбили вы тег ноиндекс. 

 

вот такая комбинация получается сейчас на странице пагинации:

<meta name="robots" content="noindex" />
<link href="https://site.ru/category/" rel="canonical" />
<link href="https://site.ru/category/?page=2" rel="prev" />
<link href="https://site.ru/category/?page=4" rel="next" />

 

Пойдет так?

Нет проблем в том, что не прописано в robots явно "follow" ?

[Kot Matvey]

1 час назад, Yoda сказал:

Странно, не должны были ссылки попасть а индекс. Точнее они должны были вывалиться в список ошибок.

Нет, мета тег <meta name="robots" content="noindex" />  я добавил только сейчас.

До этого было только:

<link href="https://site.ru/category/" rel="canonical" />
<link href="https://site.ru/category/?page=2" rel="prev" />
<link href="https://site.ru/category/?page=4" rel="next" />

[Kot Matvey]

В 28.01.2019 at 12:25, Yoda сказал:

Отлично. Там ещё посмотрите в последней версии сборки, изменен код контроллера, там где формируется canonical и библиотеки document.php. стоит обновить.

Та на последнюю версию опенкартпро 2.3.0.2.5 обновился сразу ,как вышла, вроде все там ок.

Подскажите плиз, можно ли как то "заставить" Гугл оперативно выкинуть из индекса проиндексированные дубли-страницы?

[Kot Matvey]

16 часов назад, Yoda сказал:

https://support.google.com/webmasters/answer/1663419?hl=ru

Спасибо.

Yoda, такой вопрос - может ли быть большое количество таких страниц дублей веским фактором для сдерживания роста позиций и трафика в Google?

 

И есть у гугла такой сервис в гугл консоли, как "Параметры URL". Есть ли смысл в нем тоже все блочить для ускорения выплевывания проиндексированных страниц-дублей, или достаточно уже прописанного  <meta name="robots" content="noindex" /> и можно расслабиться и ждать пока Гугл сам неспешно все выбросит из индексации?

 

Скрытый текст