Вопрос по файлу роботс.тхт: В стандартном роботсе имеется такая директива Disallow: /catalog
При анализе в инструментах Гугла для вебмастеров на вкладке Посмотреть как Гуглебот, бот гугла отдает не корректное отображение страницы. И предупреждает, что :
Роботу Google не удалось получить следующие ресурсы веб-страницы:
URLТипПричинаУровень
/catalog/view/javascript/bootstrap/css/bootstrap.min.css
Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt
/catalog/view/theme/revolution/stylesheet/stylesheet.css
Таблица стилейЗаблокированоВысокийИнструмент проверки файла robots.txt
/catalog/view/javascript/jquery/jquery-2.1.1.min.js
СкриптЗаблокированоСреднийИнструмент проверки файла robots.txt
Подскажите, надо ли разрешать роботу гугла сканировать скрипты и файлы ЦСС стилей???