Дипфейки достигли того уровня продвинутости, что когда вам звонит по видеосвязи мама – и вы даже не заподозрите, что это мошенник. Но у риалтайм-дипфейков есть одна уязвимость: если собеседник повернется к вам в профиль, его образ «поплывет». На это обратили внимание члены исследовательской общности Metaphysic.

Выше результаты тестов в DeepFaceLive. Это версия популярного программного обеспечения DeepFaceLab для прямых трансляций, способная создавать видеодипфейки в режиме реального времени.

Воспроизведение анфаса лица знаменитостей достаточно эффективно, некоторые тесты получились убедительными даже под довольно острыми углами. Но угол в 90 градусов ни одна маска не осилила, показывая настоящий профиль модели Боба Дойла.

Алгоритм не смог интерпретировать реальный профиль Боба в более или менее правдоподобной версии использованных для тестов образов. На 80 градусах он еще мог сойти за Тома Круза, но под прямым углом появился настоящий нос Боба, куда-то подевался глаз. Каких-то 10 градусов решили проблему:

Почему дипфейки «палятся» на профилях

Большинство алгоритмов распознавания лица на основе 2D способны сопоставить только 50-60% ориентиров с анфаса до профиля того же лица. ПО расценивает профиль как лицо, скрытое на 50%, поэтому у него возникают проблемы с распознаванием, а также тренировкой с целью дальнейшего синтеза профиля этого лица. Часто сгенерированные ориентиры профиля «выскакивают» на любую возможную группу пикселей, результатом чего становится пропавший глаз или стертая губа.

С видео та же проблема. Чтобы получить качественный профиль, алгоритму необходима полноценная 3D-модель. И если на голливудских актерах алгоритмы еще могут более или менее натренироваться (ведь в интернете огромное количество высококачественных видео, где их лица показаны по всем возможным ракурсам), то как много фотографий в профиль есть у вас? Если вас не арестовывали, то, скорее всего, их вообще нет, и в социальные сети вы вряд ли их выставляете. Разве что у вас очень милый носик и нет никаких намеков на второй подбородок.

Такая нехватка доступных данных затрудняет получение диапазона изображений профилей людей (не знаменитостей) достаточно разнообразных и больших, чтобы научить модель deepfake убедительно воспроизводить профили. Отсюда и следует вышеупомянутый баг.

«Рукалицо»

Есть еще один способ проверить, не является ли видеозвонок дипфейком. Попросите собеседника помахать рукой перед лицом и присмотритесь, ничего ли не вызывает у вас вопросов. Оказывается, у алгоритмов большие проблемы с наложением реального объекта на сгенерированный. Особенно, если эти объекты имеют идентичные параметры, такие как цвет, текстура и т.д. Поэтому мы становимся свидетелями таких удивительных событий, как рука Путина, проходящая сквозь микрофон. Пример на картинке ниже:

Даже если алгоритм справится с задачей на картинке, осилить видео он точно не сможет, и рано или поздно вы увидите такое:

Почему это важно

Дипфейки могут стать серьезным помощником для мошенников. Эта технология уже доступна любому, и узнать у людей чувствительную информацию под личиной знакомого или даже родственника – уже не проблема. Именно поэтому следует уметь защититься от таких явлений.

Если ваш друг вдруг решил поговорить с вами по видео, хотя обычно он этим не занимался – попросите его помахать рукой и показать профиль. Хуже всего, что может произойти – друг решит, что вы над ним издеваетесь. Лучше всего – ваши персональные данные, деньги и спокойствие останутся при вас.