YuE: 가사를 전체 노래의 기본 모델로 변환하여 다양한 음악 스타일을 지원합니다.

일반 소개

YuE는 가사를 전체 노래로 변환하는 데 중점을 둔 오픈 소스 전체 노래 생성 기본 모델입니다. 비보컬 음악의 짧은 스니펫만 생성하는 다른 모델과 달리 YuE는 최대 몇 분 길이의 리드 보컬과 백 보컬이 포함된 전체 곡을 생성할 수 있습니다. 이 모델은 긴 문맥, 복잡한 음악 신호, 왜곡된 언어 콘텐츠, 음악 생성 시 병렬 데이터 부족 등의 문제를 해결하며, 의미적으로 향상된 오디오 렉서, 바이파티션 기법, 가사 연쇄 사고 생성, 3단계 훈련 방식 등 다양한 기술을 사용하여 생성된 노래가 일관된 음악 구조, 매력적인 보컬 멜로디, 적절한 반주를 갖도록 보장합니다. 팝, 메탈 및 기타 여러 음악 장르를 위한 보컬 장르를 지원합니다.

기능 목록

노래 가사입력된 가사를 리드 및 백 보컬을 포함한 완전한 노래로 변환합니다.
다양한 음악 스타일팝, 메탈 및 기타 다양한 음악 스타일을 지원합니다.
고품질 생성생성된 노래가 일관성 있고 고품질인지 확인합니다.
오픈 소스 프로젝트코드와 모델은 오픈 소스이며 사용자가 자유롭게 사용 및 수정할 수 있습니다.
GPU 최적화대규모 GPU 병렬 컴퓨팅을 지원하여 생성 효율성을 향상시킵니다.

도움말 사용

설치 프로세스

환경 준비::
- Python 버전이 3.8 이상인지 확인합니다.
- 종속성을 설치합니다:pip install -r requirements.txt.
- 플래시어텐션 2를 설치하여 GPU 메모리를 절약하세요:pip install flash-attn --no-build-isolation.
- CUDA 환경을 구성합니다(CUDA 11.8을 예로 사용):
```
 export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
```
코드 다운로드::
- 프로젝트 웨어하우스 복제:git clone https://github.com/multimodal-art-projection/YuE.git
- 프로젝트 카탈로그로 이동합니다:cd YuE

사용 프로세스

가사를 준비합니다.::
- 예를 들어 가사를 텍스트 파일로 저장합니다.lyrics.txt.
생성된 스크립트 실행::
- 다음 명령을 사용하여 노래를 생성합니다:
```
 python generate_song.py --lyrics lyrics.txt --output song.wav
```
구성 생성 매개변수::
- 음악 스타일, 보컬 유형 등과 같은 명령줄 매개변수를 통해 생성의 세부 사항을 조정할 수 있습니다: bash python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal male

세부 기능 작동

노래 가사::
- 가사 파일을 입력하면 모델이 리드 보컬과 백 보컬이 포함된 전체 곡을 자동으로 생성합니다.
- 다양한 음악 스타일과 보컬 유형이 지원되며, 사용자는 필요에 따라 다양한 매개변수를 선택할 수 있습니다.
다양한 음악 스타일::
- 팝, 메탈 등 다양한 음악 스타일을 지원하며, 사용자는 매개변수를 통해 생성할 음악 유형을 선택할 수 있습니다.
고품질 생성::
- 이 모델은 전문적인 음악 제작을 위해 결과물의 일관성과 고품질을 보장하도록 최적화되어 있습니다.
오픈 소스 프로젝트::
- 코드와 모델은 오픈 소스이며 사용자가 과학 연구 및 상업적 애플리케이션을 위해 자유롭게 사용하고 수정할 수 있습니다.
GPU 최적화::
- 대규모 GPU 병렬 컴퓨팅을 지원하여 생성 효율을 향상시키고 장시간 곡을 생성하는 데 적합합니다.