Riffusion створює музику за допомогою штучного інтелекту

Проект Riffusion за допомогою штучного інтелекту створює музику за запитом. Для цього він використовує зображення реальних пісень, пише TechCrunch.

• Riffusion створює музику на основі зображення, а не прямого запиту, як це роблять інші технології. Це — дивний і складний для розуміння спосіб, але він працює.
• Для роботи Riffusion використовує спектограми. Це — візуальне представлення аудіо, яке показує амплітуду різних частот у часі.
• На вигляд спектрограма дещо нагадує ландшафт з пагорбами та долинами. Так виглядає карта гучності кожної частоти аудіо.
• Якщо «пагорб» розташований ліворуч, це означає, що низькі частоти, тобто бас, звучить гучніше. Якщо праворуч — високі частоти, на яких часто звучить мелодія.

• Автори Riffusion створили спектрограми великої кількості пісень та позначили отримані зображення відповідними термінами. Наприклад «блюзова гітара», «джазове піаніно», «афробіт» тощо.
• Подача цієї колекції моделі дала їй гарне уявлення про те, як «виглядають» певні звуки та як вона може їх відтворити чи поєднати. Штучний інтелект реагує на запити в стилі «класна гітара» або «веселе піаніно» і на основі спектограм короткі створює музичні твори.