Проект Riffusion за допомогою штучного інтелекту створює музику за запитом. Для цього він використовує зображення реальних пісень, пише TechCrunch.
- Riffusion створює музику на основі зображення, а не прямого запиту, як це роблять інші технології. Це — дивний і складний для розуміння спосіб, але він працює.
- Для роботи Riffusion використовує спектограми. Це — візуальне представлення аудіо, яке показує амплітуду різних частот у часі.
- На вигляд спектрограма дещо нагадує ландшафт з пагорбами та долинами. Так виглядає карта гучності кожної частоти аудіо.
- Якщо «пагорб» розташований ліворуч, це означає, що низькі частоти, тобто бас, звучить гучніше. Якщо праворуч — високі частоти, на яких часто звучить мелодія.
- Автори Riffusion створили спектрограми великої кількості пісень та позначили отримані зображення відповідними термінами. Наприклад «блюзова гітара», «джазове піаніно», «афробіт» тощо.
- Подача цієї колекції моделі дала їй гарне уявлення про те, як «виглядають» певні звуки та як вона може їх відтворити чи поєднати. Штучний інтелект реагує на запити в стилі «класна гітара» або «веселе піаніно» і на основі спектограм короткі створює музичні твори.
