Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?

[tamweb]

Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?
Вот каталог Каталог
Вот вторая страница страница 2

Что нужно и как прописать?
 

[admin]

магазин у вас на чем ?

[tamweb]

опенкарт

[admin]

  В 25.12.2018 at 14:28, tamweb сказал:

опенкарт

Expand  

какой, версия и сборка

[admin]

уже увидел что окстор

ниже этого

Disallow: /*?sort=

добавьте отак

Disallow: /*?page=

 

[tamweb]

  В 25.12.2018 at 14:38, admin сказал:

добавьте отак

Expand  

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.

Но в тоже время сами товары конечно оставить для индексации.

[admin]

  В 25.12.2018 at 18:35, tamweb сказал:

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.

Но в тоже время сами товары конечно оставить для индексации.

Expand  

ну так так оно и будет

[tamweb]

  В 26.12.2018 at 03:42, admin сказал:

ну так так оно и будет

Expand  

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?
Ведь товары есть в карте сайта.

[admin]

  В 28.12.2018 at 10:55, tamweb сказал:

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?

Expand  

самую малость, по этой причине у нас в сборке эти страницы закрыты через ноиндекс

  В 28.12.2018 at 10:55, tamweb сказал:

Ведь товары есть в карте сайта.

Expand  

пс да их найдет

[tamweb]

  В 28.12.2018 at 11:43, admin сказал:

самую малость, по этой причине у нас в сборке эти страницы закрыты через ноиндекс

Expand  

это допустимое решение?

или лучше делать через указание канонической страницы? ... подключив спец. модули.

[admin]

  В 28.12.2018 at 12:06, tamweb сказал:

это допустимое решение?

Expand  

да

[ivanzp]

  В 28.12.2018 at 10:55, tamweb сказал:

А если в роботе запретить индексирование 2,3,4 и т.д. страниц каталога?
Товарам не повредит отсутствие линковки из каталога?
Ведь товары есть в карте сайта.

Expand  

А это на пользу сайту или нет? Насколько желательно закрыть эти страницы "page2,3,4, и т.д."

[ivanzp]

  В 18.01.2019 at 16:56, Yoda сказал:

Лучше не запрещать обход, но закрывать для индексации. И иметь canonical.

Expand  

что значит не запрещать обход но закрывать для индексации? Все таки закрывать или нет?

[Kot Matvey]

  В 19.01.2019 at 10:05, Yoda сказал:

https://developers.google.com/search/reference/robots_meta_tag?hl=ru

Expand  

То есть оптимально на страницах пагинации размещать - "prev", "next" для гугла, тег каноникал на основную страницу категории и мета-теги:

<meta name="robots" content="noindex, follow" /> ?

 

<meta name="robots" content="noindex" /> - если вот так follow явно не прописан, это тоже самое что и мета-тег выше или отличается?

 

Сейчас в гугл консоли более тысячи страниц с page в "Страница проиндексирована, но ее нет в файле Sitemap". Такой же бардак и в Яндекс Вебмастере.

Это жеж не есть хорошо? Надо избавляться от таких страниц в индексе гугла и яндекса?

  Показать содержимое

 

[Kot Matvey]

  В 27.01.2019 at 07:10, Yoda сказал:

Да это не очень. Скорее всего у вас нестандартный шаблон. И где-то пролюбили вы тег ноиндекс. 

 

Expand  

вот такая комбинация получается сейчас на странице пагинации:

<meta name="robots" content="noindex" />
<link href="https://site.ru/category/" rel="canonical" />
<link href="https://site.ru/category/?page=2" rel="prev" />
<link href="https://site.ru/category/?page=4" rel="next" />

 

Пойдет так?

Нет проблем в том, что не прописано в robots явно "follow" ?

[Kot Matvey]

  В 27.01.2019 at 13:27, Yoda сказал:

Странно, не должны были ссылки попасть а индекс. Точнее они должны были вывалиться в список ошибок.

Expand  

Нет, мета тег <meta name="robots" content="noindex" />  я добавил только сейчас.

До этого было только:

<link href="https://site.ru/category/" rel="canonical" />
<link href="https://site.ru/category/?page=2" rel="prev" />
<link href="https://site.ru/category/?page=4" rel="next" />

[Kot Matvey]

  В 28.01.2019 at 10:25, Yoda сказал:

Отлично. Там ещё посмотрите в последней версии сборки, изменен код контроллера, там где формируется canonical и библиотеки document.php. стоит обновить.

Expand  

Та на последнюю версию опенкартпро 2.3.0.2.5 обновился сразу ,как вышла, вроде все там ок.

Подскажите плиз, можно ли как то "заставить" Гугл оперативно выкинуть из индекса проиндексированные дубли-страницы?

[Kot Matvey]

  В 29.01.2019 at 14:38, Yoda сказал:

https://support.google.com/webmasters/answer/1663419?hl=ru

Expand  

Спасибо.

Yoda, такой вопрос - может ли быть большое количество таких страниц дублей веским фактором для сдерживания роста позиций и трафика в Google?

 

И есть у гугла такой сервис в гугл консоли, как "Параметры URL". Есть ли смысл в нем тоже все блочить для ускорения выплевывания проиндексированных страниц-дублей, или достаточно уже прописанного  <meta name="robots" content="noindex" /> и можно расслабиться и ждать пока Гугл сам неспешно все выбросит из индексации?

 

  Показать содержимое