Проиндексировано, несмотря на блокировку в файле robots.txt


Viyale
 Поделиться

Рекомендуемые сообщения

Каким образом гугл обходит файл robots.txt и почему индексирует то что закрыто от индексации?

загруженное.png

Ссылка на комментарий
Поделиться на других сайтах

17 часов назад, satyr сказал:

Так у вас всё открыто) Кроме админки и страниц пагинации/фильтров.

Было прописано в роботсе что бы закрыть фильтры:

Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

Ссылка на комментарий
Поделиться на других сайтах

В 14.12.2019 at 17:10, admin сказал:

а это в роботсе давно появилось?

на этом домене до этого был другой движок или всегда про ?

потому как там есть отакое на этой странице


<meta name="robots" content="noindex,follow" />

но вы закрыли поисковикам туда дорогу, и они теперь страницу помнят но зайти и увидеть эту директиву не могут, когда разрешите они зайдут и выкинут эту страницу из индекса

Роботс был создан с самого начала создания сайта. На данном домене поставил сразу же про, другие движки даже не устанавливал.

Ссылка на комментарий
Поделиться на других сайтах

  • 5 месяцев спустя...

Та же проблема. Предупреждение. 28 страниц проиндексировано.
ПокрытиеПроиндексировано, несмотря на блокировку в файле robots.txt
Пример: http://mebli.biz/krovati/s-podemnim-mehanizmom/?sort=p.price&order=DESC
Я проверил. Блокируются строкой Disallow: /*&order=
Как исправить ситуацию? 
Может быть удалить эти строки (Disallow: /*&order=) в
robots.txt,  потом  нажать "проверить исправления", а потом снова вернуть эти строки назад и удалить индексированные страницы вручную в вебмастере из индекса?
ПОДСКАЖИТЕ ПРАВИЛЬНЫЙ АЛГОРИТМ ДЕЙСТВИЙ.

Ссылка на комментарий
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете опубликовать сейчас и зарегистрироваться позже. Если у вас есть учётная запись, войдите, чтобы публиковать под своей учётной записью.

Гость
Ответить в тему...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Разрешено не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Показать вместо этого как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Нельзя вставлять изображения напрямую. Загрузите или вставьте изображения по URL.

 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу