В 2009 году компания Google предложила веб-мастерам схему сканирования AJAX-страниц, которая бы позволила боту Googlebot видеть динамические страницы: на тот момент боты поисковых систем не могли распознавать страницы, использующие JavaScript. Из-за этого веб-мастера должны были выполнять некоторые условия, которые бы облегчили поисковым ботам работу с динамическими страницами. Но прошло время, инженеры компании поработали над рендерингом JavaScript в Googlebot и теперь компания отказывается от старой схемы.
Для владельцев сайтов это означает упрощение процедуры подготовки страниц: Google будет сканировать и обрабатывать сайты на AJAX на своей стороне, рендерить #! URL напрямую. В компании не ожидают, что изменение как-то скажется на работе AJAX-страниц, а сайтам, где могут возникнуть проблемы, компания обещает написать об этом. Веб-мастерам рекомендуется пройти проверку из нескольких шагов:
- Подтвердить право собственности на сайт в Google Search Console, чтобы получить доступ к ее инструментам и заодно дать компании возможность сообщить о возможных проблемах.
- Использовать «Сканер Google для сайтов» в консоли, чтобы сравнить результаты для #!URL и экранированного URL.
- Использовать инструмент Inspect Element в Chrome, чтобы убедиться, что в ссылках используется HTML-элемент <a> и что rel=nofollow используется там, где нужно (к примеру, в пользовательском контенте). Этот же инструмент нужно использовать, чтобы проверить заголовки, описания страниц, метаописания и т.д.
- Контент на Flash, Silverlight или других технологиях, основанных на плагинах, нужно сконвертировать в JavaScript или HTML, если нужно, чтобы он индексировался.
Напомним, в конце октября стало известно, что национальные домены Google перестанут показывать локальную выдачу.