Каждый из нас хотя бы раз искал изображения витрин, гидрантов и светофоров, чтобы не слыть роботом перед гуглом. «Хватит это терпеть», — подумала команда из украинской компании Promo и разработала сервис DeepCaptcha, который справляется с задачей разгадывания Google-капчи не хуже человека. Как им это удалось?
Автоматизация — тренд последнего десятилетия, который активно развивается во всех сферах. Роботы уже делают операции вместо хирургов и получают гражданство, а интернет-юзеры до сих пор разгадывают капчи вручную. Promo, украинское Performance Marketing агентство, бросило вызов гуглу. Теперь обработке больших массивов данных ничего не помешает, ведь за разгадывание капчи отвечает искусственный интеллект.
Была ли жизнь до DeepCaptcha?
DeepCaptcha — не первая разработка для решения капчи. Подобные сервисы основаны на человеческом труде, поэтому стоят дороже и уступают в эффективности. Часто работники по ту сторону экрана ошибаются, делают работу некачественно и попадают в бан. Команда разработчиков из Promo решила автоматизировать этот процесс с помощью ИИ. После анализа ниши стала очевидна потребность в создании такого сервиса как на локальном, так и на мировом рынках.
Сейчас алгоритм разгадывает reCAPTCHA v2. Это те самые светофоры, пешеходные переходы и витрины, которые Google заставляет искать в самый неподходящий момент. Ведь именно так система отличает ботов от реальных людей.
О внутренней кухне разработки сервиса DeepCaptcha, о планах и сложностях проекта поговорили с Дмитрием Литавским, Head of Big Data SEO в компании Promo.
Часть 1. Технический аспект
Как ваша команда пришла к техническому решению DeepCaptcha?
Чтобы найти решение, мы устроили мини-хакатон. В процессе работы над нейросетью команды предложили нам два варианта. Первый — одна нейронная сеть, которая определяет картинку, второй — нейронная сеть для каждого класса изображений, которая будет говорить, пешеходный переход перед нами или светофор.
Создать качественный и эффективный сервис не просто. Команда решила пожертвовать сотыми знаками в значении точности в пользу скорости — и выбрала второй вариант. Текущая точность определения составляет 98%. Мы не боимся, что Google загрузит новые картинки, потому что научим сеть распознавать любые необходимые изображения.
Как все устроено с точки зрения архитектуры?
Архитектурно проект состоит из нескольких модулей. Работа начинается с backend-части, которая принимает задание и отправляет на кликер. Последний открывает капчу и распознает необходимый класс, загружает картинку и отправляет ее в определенную нейронную сеть. Она идентифицирует класс и подтверждает, правильный ли объект на изображении. Получив ответ, нажимает на нужные картинки и выдает решение.
Как вы планируете совершенствовать решение?
Сейчас команда работает над увеличением скорости и точности определения. Задача — уменьшить количество повторных разгадываний капчи. Для этого необходимо «очеловечить» кликер. Google определяет, что запрос делает серверный браузер, и выдает повторные капчи на решение. Это тормозит процесс, забирает дополнительную вычислительную мощность и скорость.
Сейчас на одну капчу уходит 40–60 секунд. Мы стремимся к тому, чтобы Google пропускал разгадывание с первого раза — за 15–20 секунд. Оптимизировав этот процесс, мы сможем привлекать меньше серверов для разгадывания. Также хотелось бы увеличить количество потоков капч и пропускную способность сервиса.
Насколько ускорился процесс по сравнению с полуавтоматическими решениями?
Сейчас мощность сервиса равняется работе 100 специалистов, разгадывающих капчу вручную. Только DeepCaptcha, в отличие от людей, работает круглосуточно и беспрерывно. Это около 120 000 капч в сутки, но при надобности показатель легко масштабируется.
Расскажите о команде, которая работала над проектом.
Специалистов в команду собрали с помощью хакатона. По итогу работы четыре лучших дата-сайентистов присоединились к команде Promo. Также в разработке участвовали Python и Scala-инженеры, а руководил проектом я сам.
Часть 2. Коммерческий аспект
Планируете ли вы монетизировать проект? Как будете выводить его на рынок?
Мы планируем вывести DeepCaptcha как SaaS-решение на международный рынок, так как на сегодня это уникальная разработка. Главные клиенты — сервисы аналитики и обработки информации (кластеризаторы, съемщики позиций и т. д.) и прочий софт для SEO и маркетинга. Сервис нужен каждому, кто каждый день работает с большими объемами информации и пропускает тонны запросов через поисковую систему. Им DeepCaptcha позволит в больших объемах отслеживать и анализировать информацию, что в наше время обязательное условие для роста и развития бизнеса.
На сегодня цена решения — около 30 грн за 1 тыс. разгаданных капч, что в 3 раза дешевле полуавтоматических сервисов. Важна и масштабируемость: мы с легкостью можем увеличить мощность сервиса, а также научить сеть определять новые изображения.
Не боитесь ли реванша от Google?
Google уже контратаковал, сделав reCaptcha 3.0, но она пока не так распространена. В дальнейшем нам придется научиться обходить и ее. К тому же мы уже на шаг впереди: помимо распознавания картинок, команда трудится над аудиокапчей. Пока что Google не разрешает выбирать ее для разгадывания в промышленных масштабах. Поэтому мы продолжим работать над обходом систем распознавания автоматического разгадывания. Именно они мешают нам выбирать аудиокапчу вместо графической.
Ок, Google, твоя очередь угадывать. Надоела капча — протестируйте сервис DeepCaptcha прямо сейчас.
