Сайты, которые блокируют Googlebot доступ к CSS и JavaScript, могут упасть в выдаче
На днях всем владельцем сайтов, которые следят за его индексацией через сервис Search Console от Google, пришло сообщение-предупреждение. Компания обнаружила, что Googlebot не может сканировать некоторые сайты полностью, поскольку ему закрыт доступ к CSS или JavaScript, из-за ограничений в файле robots.txt. SEO-специалисты предупреждают: лучше послушаться Google, иначе сайт может понизиться в выдаче.
«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске», — говорится в обращении компании.
Google Bot уже давно стремится к тому, чтобы видеть сайты как реальный пользователь. Поэтому он научился сканировать внешний вид страниц с учетом файлов стилей и динамических частей страницы, регулируемых JavaScript, объясняет Светлана Онищенко, SEO-специалист компании SeoMarket.
Многие «сеошники» последовали рекомендациям компании и с мая 2014 года открыли поисковому боту доступ к таким файлам.
«Мы рекомендуем открыть доступ ко всем файлам стилей .css и скриптам .js, если ранее они были закрыты на вашем сайте через robots.txt. Это нужно для того, чтобы поисковые боты могли полностью проиндексировать и оценить визуальное оформление контента на сайте», — советует Светлана.
Также, нужно учитывать, что файлы стилей и Javascript влияют на показатели сайта при оценке его удобства для пользователей мобильных устройств. В частности, при тестировании с помощью Page Speed Insights и Mobile Friendly.
Update: В Блоге SeoProfy опубликовали подробную пошаговую инструкцию о том, как именно открыть доступ к нужной информации. Если вкратце, алгоритм выглядит так:
- Определить, какие ресурсы нужно открыть для индексации.
- Получить строки, которые нужно добавить в файл robots.txt.
- Перед заливкой нового robots.txt, нужно проверить созданные инструкции на ошибки и все ли файлы открыты.
- Если остались закрытые ресурсы, повторить шаги 1-3.
- Проверить доступность всех ресурсов для Mobile: smartphone.
Примеры. Что нужно добавить для стандартных движков: для WordPress — Allow: /wp-content/themes/*.css, Allow: /wp-content/uploads/*.js и тому подобное, для Joomla — Allow: /templates/*.css, Allow: /components/*.css и так далее.
Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в выдаче.
Комментарии | 12
А как открыть не сказали)
User-Agent: Googlebot
Allow: /*.js
Allow: /*.css
О, спасибо
Сегодня с ночи сделали детальное руководство-инструкцию о том как это сделать. Детали по ссылке: http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js
Добавила эту ссылку.
спсибо!)
Виктор, здравствуйте. Подскажите, пожалуйста, по поводу «универсального решения» из вашего руководства — «Allow: /*.js». Оно же не всегда является универсальным. Возможно я не правильно понял инструкцию, но при запрещающем правиле «Disallow: /somefolder» разрешающее правило «Allow: /*.js» работать не будет, так как в этом случае нужно конкретно дать доступ к ранее запрещенной папке «somefolder».
…, а при такой интерпретации правил будет работать:
Здравствуйте. А вот тут есть нюанс. Page Speed Insights не учитывает ограничения файла robots.txt при проверке сайта, в отличии от инструмента Mobile Friendly.
Ой, какие жёлтые статьи начали писать.
Даю наводку:
Гугл будет понижать сайты, не использующие точки в букве ё. Смысловая составляющая текстов под угрозой.
Автор, исправьте «Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в выдаче.» на «Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в мобильной выдаче.» Не путайте людей. 🙂
И если уж на то пошло, тут не «алгоритм не понижающий в выдаче», а стартовал новый мобильный поиск, ранжирующий мобильные сайты выше немобильных. И то это касается одинаковых множественных условий. Если у сайта нет мобильных конкурентов, а сам он немобильный, он будет ранжироваться, как и прежде. Но специально никого и нигде не понижают только потому, что у сайта нет мобильной версии.
Эл, это теже яйца вид сбоку 🙂