Некомерційна компанія OpenAI створила нову версію нейромережі DALL-E, яка генерує зображення за текстовим описом. DALL-E 2 здатна додавати на картинки нові об’єкти, а також редагувати зображення. Про це розповіло видання The Verge.
DALL-E 2 генерує в 4 рази якісніші зображення за попередню версію нейромережі. Одна з нових функцій DALL-E 2 – малювання. Користувачі можуть почати з наявного зображення, вибрати область, задати параметри та відредагувати її. DALL-E 2 може додавати (або видаляти) об’єкти з урахуванням таких деталей, як напрямок тіней в умовно зображеній кімнаті.
З іншою функцією користувачі можуть створити низку схожих на початкову картинку зображень. При цьому, вони будуть виконані у різних стилях. Крім цього, у DALL-E 2 з‘явилася можливість змішувати два зображення та на їх основі створювати нову візуальну композицію.
Як і у випадку з першою версією нейромережі, DALL-E 2 не є публічною. Для того, щоб протестувати розробку, дослідникам необхідно зареєструватися та стати в лист очікування OpenAI. В майбутньому OpenAI планує зробити нейромережу доступною для використання в сторонніх програмах.
Не зважаючи на те, що повна модель DALL-E ніколи не публікувалася, за останній рік розробники відточили власні інструменти, що імітують деякі з її функцій. Одним із найпопулярніших є мобільний додаток Wombo’s Dream, який генерує зображення всього, що описують користувачі.
Що таке DALL-E
Компанія OpenAI представила нейромережу DALL-E у 2021 році. Вона працює за принципом раніше створеного алгоритму GPT-3, який, зокрема, здатний генерувати текст за заданими параметрами. При цьому, результат є максимально наближеним до матеріалів, що створюються людиною. Перша версія DALL-E, подібно до GPT-3, аналізує англомовні текстові підказки, однак відповідає на запити зображеннями, а не словами.
В основу другої версії нейромережі, DALL-E 2, науковці заклали алгоритм ком‘ютерного зору CLIP. Як пояснили в OpenAI, такий підхід дозволив більш якісно відтворювати запити та генерувати реалістичні, деталізовані зображення.
