MuseGAN: 멀티 트랙 음악/사운드트랙을 생성하고 여러 악기를 위한 음악 클립을 쉽게 제작할 수 있는 오픈 소스 모델입니다.

1.8K 00

일반 소개

MuseGAN은 멀티 트랙(다중 악기) 음악을 생성하도록 설계된 생성적 적대 신경망(GAN)을 기반으로 하는 음악 생성 프로젝트입니다. 이 프로젝트는 처음부터 음악을 생성하거나 사용자가 제공한 트랙과 함께 음악을 생성할 수 있으며, MuseGAN은 베이스, 드럼, 기타, 피아노, 현악기가 포함된 인기 곡의 스니펫을 생성하기 위해 Lakh 피아노롤 데이터셋을 사용하여 학습됩니다. 최신 구현은 네트워크 크기는 작지만 제어 기능이 감소한 3D 컨볼루션 레이어의 네트워크 아키텍처를 기반으로 하며, MuseGAN은 실험 관리, 새 모델 훈련, 사전 훈련된 모델을 사용한 추론 및 보간과 같은 작업을 용이하게 하는 다양한 스크립트를 제공합니다.

기능 목록

멀티 트랙 음악 생성: 처음부터 여러 악기가 포함된 음악 클립을 생성할 수 있습니다.
반주 생성: 사용자가 제공한 트랙을 기반으로 반주를 생성합니다.
새 모델 교육: 사용자가 직접 음악 생성 모델을 교육할 수 있도록 스크립트 및 구성 파일이 제공됩니다.
사전 학습된 모델 사용: 음악 생성을 위해 사전 학습된 모델을 다운로드하여 사용하세요.
데이터 처리: 라크 피아노롤 데이터세트를 지원하여 교육 데이터를 다운로드하고 처리합니다.
실험 관리: 사용자가 실험을 쉽게 설정하고 관리할 수 있도록 다양한 스크립트를 제공합니다.
출력 형식: 생성된 음악은 넘피 배열, 이미지 파일, 멀티 트랙 피아노롤 파일 형식으로 저장할 수 있습니다.

도움말 사용

설치 프로세스

pipenv(권장) 또는 pip가 설치되어 있는지 확인합니다.
pipenv를 사용하여 종속 요소를 설치합니다:

bash
pipenv 설치
pipenv 셸

或使用pip安装依赖：

bash
pip 설치 -r 요구사항.txt

### 数据准备
1. 下载训练数据：

bash
. /scripts/download_data.sh

2. 处理训练数据：

bash
. /스크립트/프로세스_데이터.sh

### 训练新模型
1. 设置新实验：

bash
. /scripts/setupexp.sh ". /exp/my실험/" "실험에 대한 비고"

2. 修改配置文件和模型参数文件以设置实验参数。
3. 训练模型：

bash
. /scripts/runtrain.sh ". /exp/my실험/" "0"

或运行完整实验（训练+推理+插值）：

bash
. /scripts/runexp.sh ". /exp/my실험/" "0"

### 使用预训练模型
1. 下载预训练模型：

bash
. /scripts/download_models.sh

2. 使用预训练模型进行推理：

bash
. /scripts/run_inference.sh ". /exp/default/" "0"

或进行插值：

bash
. /. 스크립트/실행_보간.sh ". /exp/default/" "0"

### 输出管理
生成的音乐样本默认会在训练过程中生成，可以通过设置配置文件中的`save_samples_steps`为0来禁用此行为。生成的音乐样本会以以下三种格式保存：
- `.npy`：原始numpy数组
- `.png`：图像文件
- `.npz`：多轨pianoroll文件，可通过Pypianoroll包加载
可以通过设置配置文件中的`save_array_samples`、`save_image_samples`和`save_pianoroll_samples`为False来禁用特定格式的保存。生成的pianoroll文件以`.npz`格式保存，以节省空间和处理时间。可以使用以下代码将其写入MIDI文件：

python
pypianoroll에서 멀티트랙 가져오기
m = 멀티트랙('. /test.npz')
m.write('. /test.mid')