Ежедневно около 300 млн юзеров отправляют гифки по всему миру. Но мало кто знает, что именно в Украине разрабатываются одни из самых сложных и важных технологических решений многомиллионной американской компании GIPHY: распознавание лиц знаменитостей, поисковик и другие технологические решения. Занимается этим украинская команда американской компании Rails Reactor. Редакция AIN.UA рассказывает подробности.
У Rails Reactor три офиса в Украине: два в Киеве – на 50 и 70 человек, один в Черновцах, а также офис в Бостоне (США). Над GIPHY работает 10 человек в одном из столичных офисов. В ведении команды одно из самых важных направлений для GIPHY – интеграция сервиса в другие платформы.
Rails Reactor работает с GIPHY с 2017 года. Киевская команда занимается разработкой API, внутренней системой для его управления клиентами, и алгоритмов улучшения поиска.
В 2019 году американская команда GIPHY приехала в Украину, чтобы синхронизироваться с киевской командой и вместе поработать над технической частью решений. Такие встречи, обычно, происходят несколько раз в год: либо команда GIPHY приезжает в Украину, либо украинская команда Rails Reactor едет в США.
$150 млн инвестиций и 300 млн пользователей ежедневно
GIPHY основали в 2013 году в США. За семь лет работы компания привлекла более $150 млн. Сейчас GIPHY — одна из крупнейших онлайн-баз GIF-изображений. Она позволяет пользователям искать гифки среди 100 млн файлов и делиться ими с другими людьми. Среди других сервисов GIPHY: игровая платформа Giphy Arcade, видеораздел с гифками со звуком, а также интеграции с популярными соцсетями вроде Facebook, Instagram и TikTok.
В GIPHY пользователи осуществляют поиск иначе, чем в Google. Здесь популярны запросы вроде «голодный» или «привет» — чтобы описать текущее состояние человека и то, что он хочет выразить. Для таких задач сервис использует алгоритмы с искусственным интеллектом, которые позволяют наиболее точно подобрать гифку с запросом.
GIPHY — вторая по популярности поисковая система в США. Количество ежедневных запросов в ней составляет 15% от всех запросов в Google.
Украинская команда Rails Reactor создает и оптимизирует специальные модели, которые обеспечивают максимально точный поиск для Giphy.
Над GIPHY в Украине работает 4 machine learning инженера, 2 – PHP-специалиста, 2 – Scala, 1 – Python и 1 – JS. Конкретно киевская команда Rails Reactor выполняет для GIPHY ряд задач:
- Распознавание лиц знаменитостей в гифках,
- Рекомендационная система для GIF-изображений,
- Оптимизация поискового движка GIPHY.
Распознавание лиц знаменитостей в гифках
Часто достаточно сложно сформировать точное описание гифки при загрузке ее в базу GIPHY. Эта проблема препятствует выдаче точного результата во время поиска. Когда пользователи в поисковике гифок вводят имена знаменитостей, они ожидают увидеть все гифки, связанные с этим человеком.
Система, разработанная Rails Reactor, использует готовые данные из каталога GIPHY и других источников как дополнение. Она может найти наилучшие совпадение, а затем дополнительно пометить имя (имена) на исходной гифке. Этот новый алгоритм помог сканировать гифки с определенными людьми и искать тех же самых людей на всех доступных в базе GIPHY.
Наработки киевской команды Rails Reactor стали частью Giphy Celebrity Detector — модели машинного обучения GIPHY, которая определяет лица знаменитостей на гифках. В прошлом году ее выложили в публичный доступ.
“GIPHY Celebrity Detector может определять более 2300 знаменитостей на GIF-изображениях с точностью до 98%. Сначала он находит непосредственно лицо, а затем — какой знаменитости оно может принадлежать. Первый шаг предусматривает анализ всех фреймов GIF-изображения, а второй — использование нейронной сети ResNet, обученной на миллионах лиц из собственного датасета.
Эта модель позволяет получать для лиц информативные векторные репрезентации (так называемые эмбеддинги). На основании этих векторов с помощью алгоритма кластеризации GIF-файлы можно сопоставить с образцами известных нам знаменитостей. Наша команда работала над всеми этапами жизненного цикла этого сервиса, начиная от сбора данных, построения моделей, и до непосредственно его внедрения и поддержки в рамках платформы GIPHY”, – рассказывает Дмитрий Войтех, ML ENGINEer, Rails Reactor.
Платформа рекомендации по GIF-изображению
Одной из самых важных целей любого контент-сайта является удержание пользователя и его возврат на сайт. Чтобы добиться этого, украинская команда Rails Reactor создала систему рекомендаций, которая предлагает пользователям похожие гифки в зависимости от их интересов.
Для этого используются как данные пользовательских сессий, так и метаданные запросов и гифок. Команда также использует здесь алгоритмы машинного обучения. Система способна «понять» смысл выбранных гифок, изучая поведение пользователей. А затем — предлагает человеку похожие гифки, которые могут ему понравиться.
“Маркировка (tagging) является одной из основных частей движка GIPHY. Юзер, когда ищет GIF, на самом деле ищет теги этой GIF. А автоматическая маркировка служит динамическим инструментом для быстрой сортировки огромного количества гифок для направления в соответствующие “группы” для анализа и немедленного отслеживания”, – комментирует Игорь Круш, Machine Learning Engineer.
Ежедневно это решение способно предоставлять около 30 миллионов рекомендаций. Более того, киевская команда Rails Reactor внедрила технологию непрерывного обучения, которая обновляет систему, чтобы она могла автоматически обрабатывать новые данные.
Что будет с украинской командой после покупки Giphy компанией Facebook
15 мая 2020 года стало известно, что Facebook покупает сервис Giphy за $400 млн. Для GIPHY сделка — понижение ранее озвученной оценки: сервис поднял $150 млн с 2013 года, и его максимальная оценка составляла около $600 млн.
Как сообщили AIN.UA в Rails Reactor, на украинской команде это никак не отразится – GIPHY продолжает сотрудничать с киевскими разработчиками в том же масштабе, что и раньше.
За время сотрудничества киевская команда реализовала ряд сложных технологических решений для американского партнера таких как:
- разработка API,
- внутренняя система для его управления клиентами и алгоритмов улучшения поиска.
Сейчас украинская команда Rails Reactor помогает GIPHY в одном из самых важных направлений, которое позволяет интегрировать сервис в другие платформы.
