InspireMusic: Ali의 오픈 소스 통합 음악, 노래 및 오디오 생성 프레임워크

일반 소개

InspireMusic은 음악, 노래, 오디오 생성에 중점을 둔 PyTorch 기반의 오픈 소스 툴킷입니다. 텍스트 단서, 음악 구조 및 음악 스타일을 제어하여 고품질 오디오를 생성할 수 있는 통합 프레임워크를 제공하며, 24kHz 및 48kHz 오디오 생성을 지원하고 장시간 오디오 생성도 가능합니다. 이 툴킷은 추론 및 학습 코드를 제공할 뿐만 아니라 모델 미세 조정 및 추론을 위한 혼합 정밀 학습도 지원하며, InspireMusic의 목표는 사용자가 오디오 라벨링 및 라벨링 해제 과정을 통해 사운드스케이프를 혁신하고 음악 연구의 조화로운 아름다움을 향상하도록 돕는 것입니다.

데모: https://modelscope.cn/studios/iic/InspireMusic/summary

기능 목록

• 텍스트-음악 변환텍스트 단서에서 음악을 생성합니다.
• 음악 구조 제어음악 구조에 기반한 음악 생성 지원.
• 음악 스타일 제어: 생성된 음악의 스타일을 제어할 수 있습니다.
• 고품질 오디오 생성24kHz 및 48kHz 오디오 생성을 지원합니다.
• 긴 오디오 생성: 장시간 오디오 생성을 지원합니다.
• 혼합 정밀 교육BF16, FP16/FP32 혼합 정밀 훈련을 지원합니다.
• 모델 미세 조정 및 추론스크립트 및 전략에 대해 쉽게 미세 조정하고 추론할 수 있습니다.
• 온라인 데모온라인 데모가 제공되며 사용자는 ModelScope와 HuggingFace에서 이를 체험할 수 있습니다.

도움말 사용

설치 프로세스

1. 복제 창고:

   git clone https://github.com/FunAudioLLM/InspireMusic.git
cd InspireMusic

2. 종속성을 설치합니다:

   pip install -r requirements.txt

3. PyTorch를 설치합니다(CUDA 버전에 적합한 설치 명령을 선택합니다):

   pip install torch torchvision torchaudio

사용 가이드라인

텍스트-음악 변환

1. 텍스트 프롬프트(예: "경쾌한 피아노 음악 생성")를 준비합니다.
2. 생성 스크립트를 실행합니다:

   python app.py --text "生成一段欢快的钢琴音乐"

3. 생성된 음악은 지정된 출력 디렉터리에 저장됩니다.

음악 구조 제어

1. 음악의 리듬, 코드 등을 정의하는 음악 구조 파일을 준비합니다.
2. 생성 스크립트를 실행합니다:

   python app.py --structure path/to/structure/file

3. 생성된 음악은 구조 파일을 기반으로 합니다.

음악 스타일 제어

1. 미리 정의된 음악 스타일(예: '클래식', '재즈' 등)을 선택합니다.
2. 생성 스크립트를 실행합니다:

   python app.py --style "古典"

3. 생성된 음악은 선택한 음악 스타일과 일치합니다.

모델 미세 조정 및 추론

InspireMusic은 사용자가 필요에 따라 모델과 추론을 미세 조정할 수 있는 편리한 미세 조정 및 추론 스크립트를 제공합니다. 아래는 간단한 미세 조정 예시입니다:

1. 학습 데이터 세트를 준비합니다.
2. 미세 조정 스크립트를 실행합니다:

   python finetune.py --data path/to/dataset --output path/to/output/model

3. 미세 조정된 모델을 사용한 추론:

   python app.py --model path/to/output/model --text "生成一段新的音乐"

온라인 데모

사용자는 모델스코프와 허깅페이스의 온라인 데모 페이지를 방문하여 InspireMusic의 강력한 기능을 체험할 수 있습니다. 텍스트 프롬프트를 입력하기만 하면 고품질의 음악을 생성할 수 있습니다.

jian27 통합 팩

Quark: https://pan.quark.cn/s/4843d9c54615

바이두: https://pan.baidu.com/s/1hKIHENqPbKRBjnbVRBni7Q?pwd=2727