Як розпізнати діпфейк? Попросіть співрозмовника повернутись в профіль

Діпфейки досягли того рівня просунутості, що коли вам дзвонить по відеозвʼязку мама – і ви навіть не запідозрите, що насправді це шахрай. Але у ріалтайм-діпфейків є одна вразливість: якщо співрозмовник повернеться до вас у профіль, його образ «попливе». На це звернули увагу члени дослідницької спільности Metaphysic.

Вище результати тестів у DeepFaceLive. Це версія популярного програмного забезпечення DeepFaceLab для прямих трансляцій, що здатна створювати відео-діпфейки в режимі реального часу.

Відтворення анфасу обличчя знаменитостей досить ефективне, деякі тести вийшли переконливими навіть під доволі гострими кутами. Але кут у 90 градусів жодна маска не подужала, відобразивши справжній профіль моделі Боба Дойла.

Алгоритм не зміг інтерпретувати реальний профіль Боба в більш-менш правдоподібну версію використаних для тестів образів. На 80 градусах він ще міг зійти за Тома Круза, але під прямим кутом зʼявився справжній ніс Боба, натомість кудись поділось око. Якихось 10 градусів вирішили проблему:

Чому діпфейки «паляться» на профілях

Більшість алгоритмів розпізнавання обличчя на основі 2D здатні зіставити лише 50-60% орієнтирів з анфасу до профілю того ж самого обличчя. ПО розцінює профіль як обличчя, що приховане на 50%, через це у нього виникають проблеми з розпізнаванням, а також тренуванням з метою подальшого синтезу профілю цього обличчя. Часто згенеровані орієнтири профілю «вискакують» на будь-яку можливу групу пікселів, результатом чого стає відсутнє око або стерта губа.

З відео та сама проблема. Щоб отримати якісний профіль, алгоритму необхідна повноцінна 3D-модель. І якщо на голівудських акторах алгоритми ще можуть більш менш натренуватися (адже в інтернеті велетенська кількість високоякісних відео, де їхні обличчя показані з усіх можливих ракурсах), то як багато фотографій в профіль є у вас? Якщо вас не заарештовували, то скоріш за все їх взагалі немає, і в соціальні мережі ви навряд чи їх виставляєте. Хіба що у вас надзвичайно милий носик і немає жодних натяків на друге підборіддя.

Така нестача доступних даних ускладнює отримання діапазону зображень профілів людей (не знаменитостей), достатньо різноманітних і великих, щоб навчити модель deepfake переконливо відтворювати профілі. Звідси і випливає вищезгаданий баг.

«Рукаліцо»

Є ще один спосіб перевірити, чи не є відеодзвінок діпфейком. Попросіть співрозмовника помахати рукою перед обличчям і придивіться, чи нічого не викликає у вас питань. Виявляється, у алгоритмів великі проблеми з накладанням реального обʼєкту на згенерований. Особливо, якщо ці обʼєкти мають ідентичні параметри, як-от колір, текстура тощо. Через це ми стаємо свідками таких дивовижних подій, як рука Путіна, що проходить крізь мікрофон. Приклад на зображенні нижче:

Навіть якщо алгоритм впорається з задачею на картинці, подужати відео він точно не зможе, і рано чи пізно ви побачите отаке:

Чому це важливо

Діпфейки можуть стати серйозним помічником шахраїв. Ця технологія уже доступна будь-кому, і вивідати у людей чутливу інформацію під личиною знайомого чи навіть родича – вже не проблема. Саме тому варто вміти захиститися від таких явищ.

Якщо ваш друг раптом вирішив поговорити з вами по відео, хоча зазвичай він цим не займався – попросіть його помахати вам рукою і показати профіль. Найгірше, що може статися – друг вирішить, що ви з нього знущаєтеся. Найкраще – ваші персональні дані, гроші та спокій залишаться при вас.