Спільне створення музики може бути цікавим і повноцінним досвідом. Все це можливо завдяки Riffusion, новій моделі штучного інтелекту. Сервіс використовує стабільну дифузію для створення музики на основі текстових підказок. Музиканти тепер можуть досліджувати новий світ можливостей.
Що таке Riffusion?
Riffusion – це модель, створена технічними аматорами Сетом Форсгреном і Хайком Мартіросом, яка використовує доопрацьовану версію моделі синтезу зображень Stable Diffusion 1.5 для створення музики з текстових підказок.
Вона працює шляхом створення візуального представлення звуку, яке називається сонограмою, і перетворення його в аудіо для відтворення. Сонограма – це двовимірне зображення з віссю X, що представляє час (порядок відтворення частот, зліва направо) і віссю Y, що представляє частоту звуків. Колір кожного пікселя на зображенні представляє амплітуду звуку в даний момент часу.
Використання стабільної дифузії
Riffusion використовує стабільну дифузію новим способом для обробки сонограм. Форсгрен і Мартірос навчили спеціальну модель стабільної дифузії з прикладами сонограм, пов’язаними з описами звуків або музичних жанрів, які вони представляли. Маючи ці знання, Riffusion може генерувати нову музику на льоту на основі текстових підказок, які описують тип музики або звуку, який ви хочете почути, наприклад, “джаз”, “рок”, або навіть друкування на клавіатурі. Після створення зображення сонограми Riffusion використовує Torchaudio для перетворення сонограми в звук, відтворюючи її як аудіо.
Дослідження нових можливостей
Riffusion дозволяє музикантам досліджувати світ нових можливостей. Він може генерувати нескінченні варіації підказки, змінюючи семпл. Всі ті ж самі веб-інтерфейси і техніки, такі як img2img, зафарбовування, негативні підказки і інтерполяція, працюють “з коробки”. Відвідувачі веб-сайту Riffusion можуть експериментувати з моделлю штучного інтелекту завдяки інтерактивному веб-додатку, який генерує інтерпольовані сонограми (плавно зшиті разом для безперервного відтворення) в режимі реального часу, одночасно візуалізуючи спектрограму безперервно в лівій частині сторінки. Він також може поєднувати стилі, дозволяючи музикантам поєднувати різні жанри для отримання нового результату.
За допомогою Riffusion музиканти можуть створювати музику з текстових підказок і поєднувати стилі для отримання нових результатів.
