InspireMusic: унифицированный фреймворк Ali с открытым исходным кодом для создания музыки, песен и аудио.

Общее введение

InspireMusic - это набор инструментов с открытым исходным кодом на основе PyTorch, ориентированный на генерацию музыки, песен и аудио. Он предоставляет единый фреймворк для генерации высококачественного аудио с контролем над текстовыми подсказками, структурой музыки и музыкальным стилем. InspireMusic поддерживает генерацию аудио 24 и 48 кГц и способен генерировать длинные аудиофайлы. Инструментарий не только предоставляет код для вывода и обучения, но и поддерживает обучение со смешанной точностью для точной настройки модели и вывода.Цель InspireMusic - помочь пользователям создавать инновационные звуковые ландшафты и улучшать гармоническую эстетику в музыкальных исследованиях с помощью процесса маркировки и де-маркировки аудио.

Демо: https://modelscope.cn/studios/iic/InspireMusic/summary

Список функций

• Текст в музыку: Генерирование музыки из текстовых подсказок.
• Управление музыкальной структурой: Поддержка генерации музыки на основе музыкальных структур.
• Управление музыкальным стилем: Вы можете управлять стилем генерируемой музыки.
• Генерация высококачественного звука: Поддерживает воспроизведение звука с частотой 24 и 48 кГц.
• Генерация длинных аудиозаписей: Поддерживает создание аудио большой продолжительности.
• Смешанная высокоточная подготовка: Поддерживает обучение со смешанной точностью BF16, FP16/FP32.
• Тонкая настройка модели и вывод: Обеспечивает легкую тонкую настройку и рассуждения о сценариях и стратегиях.
• Онлайн-демонстрация: Доступна онлайн-демонстрация, и пользователи могут испытать ее на ModelScope и HuggingFace.

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/FunAudioLLM/InspireMusic.git
cd InspireMusic

2. Установите зависимость:

   pip install -r requirements.txt

3. Установите PyTorch (выберите соответствующую команду установки для вашей версии CUDA):

   pip install torch torchvision torchaudio

Руководство по использованию

Текст в музыку

1. Подготовьте текстовые подсказки, например, "Создайте бодрящую пьесу для фортепиано".
2. Запустите сценарий генерации:

   python app.py --text "生成一段欢快的钢琴音乐"

3. Созданная музыка будет сохранена в указанном выходном каталоге.

Управление музыкальной структурой

1. Подготовьте файл музыкальной структуры, определяющий ритмы, аккорды и т. д. музыки.
2. Запустите сценарий генерации:

   python app.py --structure path/to/structure/file

3. Созданная музыка будет основана на файле структуры.

Управление музыкальным стилем

1. Выберите заданный музыкальный стиль, например "Классика", "Джаз" и т. д.
2. Запустите сценарий генерации:

   python app.py --style "古典"

3. Созданная музыка будет соответствовать выбранному музыкальному стилю.

Тонкая настройка модели и вывод

InspireMusic предоставляет удобные скрипты тонкой настройки и вывода, которые позволяют пользователям точно настроить модель и вывод в соответствии со своими потребностями. Ниже приведен простой пример тонкой настройки:

1. Подготовьте обучающий набор данных.
2. Запустите скрипт тонкой настройки:

   python finetune.py --data path/to/dataset --output path/to/output/model

3. Выводы с использованием точно настроенной модели:

   python app.py --model path/to/output/model --text "生成一段新的音乐"

Онлайн-демонстрация

Пользователи могут посетить демонстрационные страницы на сайтах ModelScope и HuggingFace, чтобы испытать возможности InspireMusic. Просто введите текстовые подсказки, чтобы сгенерировать высококачественную музыку.

jian27 Интеграционный пакет

Кварк: https://pan.quark.cn/s/4843d9c54615

Baidu: https://pan.baidu.com/s/1hKIHENqPbKRBjnbVRBni7Q?pwd=2727