Як використовувати ШІ для створення відео — кейс

Використання ШІ для створення відео – це добро чи зло? В авторській колонці для AIN.UA Creative Lead агенції and action Іван Іщенко на прикладі роликів для таких брендів, як Comfy, Lamel, IT Arena та «Галичина», розповідає, навіщо це робити.

Приблизно рік тому я побачив анімаційну короткометражку Leaving Home. І мені одразу ж захотілося розібратися, як вона зроблена. Виявилося, що відео створене в Stable Diffusion. І це було «вау»! Приблизно так само я почувався, коли у 2006 році побачив (тепер би я сказав крінжовий) календарик, зроблений у фотошопі: «Вау, я хочу так робити!». І почав.

Я побачив нові можливості для агенції. Крім того, рік тому ми шукали способи оптимізації бюджетів та часу, а ШІ міг у цьому допомогти. Тоді все розвивалося дуже динамічно: Midjourney почав робити гіперреалістичні зображення, Stable Diffusion теж отримував оновлення. Я чекав доступу до демки Gen-1 і Gen-2 від Runway, які допомагали конвертувати текст чи картинку у відео. І поступово додавав свої експерименти в портфоліо.

Звісно, мої перші спроби контакту з ШІ були кривими. Минуло десь пів року, доки я зміг показати щось суттєве на презентації нашим партнерам – Banda Agency, а вже за кілька днів вони прийшли до нас із запитом відеоролика для Comfy. Стиль, який вони хотіли, і те, що я навчився робити зі Stable Diffusion, був метчем. 

Я неймовірно зрадів, адже це вже були не власні експерименти в R&D-комірчині, а реальний запит для великого бренду. Тоді з’явилися два ролики Comfy про фонтан.

Коли я для цікавості запитав у нашого Animation Lead, скільки потрібно часу на зображення, яке я вже згенерував у Midjourney, він відповів: три дні, і ще день на правки. Потім я спитав нашу ілюстраторку, скільки б вона це робила. Та взагалі сказала, що не бралась би за цю роботу, адже це дуже складно. А я витратив п’ять хвилин. І це лише одне зображення.

Загалом у цих двох роликах усі ілюстрації згенеровані ШІ, але деталі ми допрацьовували. Наприклад, у відео є русал. Щоб його зробити, я спершу склав колаж: хвіст, тулуб античної статуї, окремо обличчя і руки. Далі віддав це Stable Diffusion – і він видав свій варіант. Все було досить симпатичним, крім обличчя та рук. Тож я пішов у Midjourney: згенерував портрети барокових красунчиків з ідеальною шкірою, а далі сколажував з тілом русала у фотошопі. А руку вже домалювала ілюстраторка. У ролику русал та інші персонажі говорять, і ці мікрокартинки рота ми теж домальовували вручну. 

Тобто ШІ робить базу, а людина коригує деталі.

Над роликом для молочного бренду «ҐоКарпати» ми працювали з агенцією Bickerstaff.999. Потрібно було створити анімацію про історію кохання ложки та кефіру, де кефір мандрує крізь світи різних мультиків у пошуку ложки. У цьому проєкті ми використовували ШІ менше – лише для генерації бекграундів, як-от кораблик з озером, небо, ущелина з лісом, пагорб. Усе інше створили аніматори та ілюстратори. 

Оскільки у відео ми промальовували світи з різних відомих мультиків, то помітили цікавий момент, що діснеївські анімаційні фільми «Маріо» та «Сейлор Мун» нейромережа добре знає, а от українських «Козаків» – ні, і тут для генерації фонів нам треба було зробити хороший скетч і пошукати якийсь популярніший відповідник, аби ШІ на нього спирався.

Також цікаво використовувати ШІ не лише для економії ресурсів, а і загалом для того, щоб зробити відео цікавішим візуально для глядача. У ролику для Lamel ми використали ШІ у частині, де модель нібито йде пустелею. Цей бекграунд ми згенерували за допомогою ШІ, а не розмальовували кожен кадр вручну. 

Це була спонтанна ідея, відео нам подобалось, але хотілось ще якось підкреслити стійкість фіксації гелю для брів. Класично, коли щось таке планується, то відео знімають на «зеленці», вирізають, малюють фон. Це зайняло б тиждень на постпродакшені, а зараз з допомогою DaVinci Resolve ми завдяки штучному інтелекту вирізали не зелений фон за п’ять хвилин і додали анімацію фону, котру згенерували Stable Diffusion за пів години.

Для ролика на відкриття ІТ Arena ми захотіли використати ШІ на максимум – такий собі триб’ют ІТ. Відкриття відбувалося в Оперному театрі, тож ми вирішили додати відео символізму і зробити нібито кілька частин вистави. 

Спершу згенерували щось метафоричне в Stable Diffusion, щоб підвести глядачів до основної промови. Це виглядало дуже художньо і класно поєднувало технології (ІТ) та мистецтво (оперу). Для розмови про майбутнє ми застосували Midjourney та GEN-2, де візуалізували автомобілі, що літають, квантовий комп’ютер та AR для всіх сфер життя. Саму ведучу ми вперше робили не вручну, а у програмі для роботи з 3D та із використанням ШІ-інструментів.

Нам дуже сподобався результат Stable Diffusion, тож ми зробили фан-відео, де вказали всіх дотичних до створення як акторів у інтро серіалу на Netflix. 

Чи може ШІ повністю замінити людей у виготовленні відео? Ні, адже це просто додатковий робочий інструмент. Радше в цій сфері зʼявляться нові посади фахівців, які працюватимуть зі штучним інтелектом і правильно ставитимуть йому завдання. Якщо ми просто напишемо в Midjourney стандартний промпт, то і результат буде типовим, як зі стоків. ШІ не продумає за вас, що має в собі нести цей ролик, на яку аудиторію він працюватиме, не зв’яже його з іншими проєктами «пасхалками». 

Також неправильно ставити запитання: «А за скільки б згенерував цей відеоролик ШІ?». Ні за скільки, бо він цього сам не зробить, це буде геть інша категорія анімації. Натомість ШІ може зробити щось неочікуване, про що ви його не просили, і це вражатиме. А саме це нам і потрібно. 

Контенту зараз продукується дуже багато, і серед цього творчого океану потрібно якось вирізнятися та запам’ятовуватися глядачеві. Від команди має походити креатив щодо задумів, а ШІ вже допоможе втілити ці задуми в класну форму. 

У штучному інтелекті я наразі бачу величезний потенціал. Йдеться не лише про економію часу і грошей. Якщо ваш замовник готовий до візуальних експериментів, ШІ дає широкі можливості, і це стосується не тільки великих бізнесів, як Comfy чи «Галичина». 

Наприклад, для маленької пекарні «Тісно» чи для ресторану кримськотатарської кухні, які нібито далекі від ІТ-технологій.

Для «Тісно» ми зробили кілька промороликів за допомогою ШІ. Наприклад, тут ми надихнулися вступними титрами серіалу «Білий лотос». Це відео набрало багато переглядів, а часу на нього ми витратили мало, бо й ілюстрації, й анімацію генерував ШІ. У ролику надихались локацією закладу та їхньою випічкою. І звісно ж ШІ генерував з багами: наприклад, на відео – креветки з двома хвостами замість голови, а сіль на брауні перетворилася у квіти. І якщо перший баг я не знав, як виправити, то результат з брауні – несподівано художній. 

Як бачимо, ШІ робить багато, але водночас лишається чимало людського втручання. Умовно кажучи, робот-пилосос гарно прибирає квартиру, але може спіткнутися на порозі і розсипати сміття. І тоді ви це прибираєте самостійно. Без людських правок не обійтись. 

Думаю, що можна скільки завгодно тицяти в Midjourney чи Stable Diffusion, але якщо ви не розумієте, для чого це вам, то дарма витратите час. Особисто для мене ШІ – це ще один інструмент у роботі, і варто зрозуміти, що він дасть вашій команді. А коли зрозумієте, сядьте на вихідних і спробуйте використати хоча б один з цих інструментів. Результат вам сподобається. 

Автор: Іван Іщенко, Creative Lead агенції and action.