DiffRhythm: генератор звука — что умеет и что нужно для запуска

DiffRhythm — это генератор звука, который по описанию авторов предназначен для создания полноценных песен целиком, от текста до готового аудио, с помощью латентной диффузии. Разработчик — ASLP Lab, проект выложен в открытый доступ.

Что умеет

Авторы описывают DiffRhythm как быстрый и простой сквозной генератор полноформатных песен. В основе лежит латентная диффузия. Детали архитектуры, поддерживаемые форматы входа и выхода, а также ограничения по длительности или жанрам в паспорте не раскрываются.

Что нужно для запуска

Код написан на Python и опубликован в репозитории github.com/ASLP-lab/DiffRhythm. Веса модели доступны на huggingface.co/ASLP-lab/DiffRhythm-base. Лицензия кода — Apache-2.0, лицензия весов — apache-2.0. Требования к памяти, видеокарте и операционной системе авторы не указывают.

Кому подойдёт

Проект может быть интересен тем, кто ищет открытый генератор песен с возможностью самостоятельного запуска и доработки. Подойдёт исследователям и разработчикам, которым нужен доступ к коду и весам модели. Тем, кто ожидает готовый коммерческий сервис с гарантированной поддержкой, документацией по развёртыванию и понятными системными требованиями, стоит учесть, что таких данных в паспорте нет.

DiffRhythm — открытый проект с простой, по заявлению авторов, архитектурой. Насколько он удобен в реальной работе, можно понять только после самостоятельного запуска, поскольку подробные технические характеристики в паспорте не приведены.