На днях всем владельцем сайтов, которые следят за его индексацией через сервис Search Console от Google, пришло сообщение-предупреждение. Компания обнаружила, что Googlebot не может сканировать некоторые сайты полностью, поскольку ему закрыт доступ к CSS или JavaScript, из-за ограничений в файле robots.txt. SEO-специалисты предупреждают: лучше послушаться Google, иначе сайт может понизиться в выдаче.
“Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске”, – говорится в обращении компании.
Google Bot уже давно стремится к тому, чтобы видеть сайты как реальный пользователь. Поэтому он научился сканировать внешний вид страниц с учетом файлов стилей и динамических частей страницы, регулируемых JavaScript, объясняет Светлана Онищенко, SEO-специалист компании SeoMarket.
Многие “сеошники” последовали рекомендациям компании и с мая 2014 года открыли поисковому боту доступ к таким файлам.
“Мы рекомендуем открыть доступ ко всем файлам стилей .css и скриптам .js, если ранее они были закрыты на вашем сайте через robots.txt. Это нужно для того, чтобы поисковые боты могли полностью проиндексировать и оценить визуальное оформление контента на сайте”, – советует Светлана.
Также, нужно учитывать, что файлы стилей и Javascript влияют на показатели сайта при оценке его удобства для пользователей мобильных устройств. В частности, при тестировании с помощью Page Speed Insights и Mobile Friendly.
Update: В Блоге SeoProfy опубликовали подробную пошаговую инструкцию о том, как именно открыть доступ к нужной информации. Если вкратце, алгоритм выглядит так:
- Определить, какие ресурсы нужно открыть для индексации.
- Получить строки, которые нужно добавить в файл robots.txt.
- Перед заливкой нового robots.txt, нужно проверить созданные инструкции на ошибки и все ли файлы открыты.
- Если остались закрытые ресурсы, повторить шаги 1-3.
- Проверить доступность всех ресурсов для Mobile: smartphone.
Примеры. Что нужно добавить для стандартных движков: для WordPress – Allow: /wp-content/themes/*.css, Allow: /wp-content/uploads/*.js и тому подобное, для Joomla – Allow: /templates/*.css, Allow: /components/*.css и так далее.
Напомним, в апреле Google запустил алгоритм, понижающий «немобильные» сайты в выдаче.
