YuE：歌詞を完全な曲のベースモデルに変換し、幅広い音楽スタイルをサポートします。

はじめに

YuEは、歌詞を完全な曲に変換することに重点を置いた、オープンソースのフルソング生成ベースモデルです。ボーカル以外の短いスニペットしか生成しない他のモデルとは異なり、YuEはリードボーカルとバッキングボーカルを含む、数分にも及ぶ完全な楽曲を生成することができる。YuEは、生成された楽曲が首尾一貫した音楽構造、魅力的なボーカルメロディ、適切な伴奏を持つことを保証するために、意味論的に強化されたオーディオレキサー、二分割技術、歌詞連鎖思考生成、3段階の学習スキームなど、さまざまな技術を採用しています。YuEは、ポップス、メタル、その他多くの音楽ジャンルにおいて、幅広い音楽スタイルとボーカルジャンルをサポートしています。

機能一覧

• 歌詞入力された歌詞を、リード・ヴォーカルとバッキング・ヴォーカルを含む完全な曲に変換します。
• 様々な音楽スタイルポップス、メタル、その他多くの音楽スタイルをサポート。
• 高品質ジェネレーション生成される楽曲が首尾一貫した、質の高いものであることを確認すること。
• オープンソースプロジェクトコードとモデルはオープンソースであり、ユーザーが自由に使用、変更することができます。
• GPU最適化世代効率を向上させる大規模GPU並列コンピューティングに対応。

ヘルプの使用

設置プロセス

1. 環境準備::
   • Pythonのバージョンが3.8以上であることを確認してください。
   • 依存関係をインストールします：pip install -r requirements.txt.
   • FlashAttention 2をインストールしてGPUメモリを節約する：pip install flash-attn --no-build-isolationをインストールする。.
   • CUDA環境を設定する（例としてCUDA 11.8を使用）：

    export PATH=/usr/local/cuda-11.8/bin:$PATH
   export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
   

2. ダウンロードコード::
   • クローン・プロジェクト・ウェアハウスgit clone https://github.com/multimodal-art-projection/YuE.git
   • プロジェクト・カタログにアクセスする：cd YuE

使用プロセス

1. 歌詞を用意する。::
   • 歌詞をテキストファイルとして保存する。歌詞.txt.
2. 生成されたスクリプトを実行する::
   • 曲の生成には次のコマンドを使う：

    python generate_song.py --lyrics lyrics.txt --output song.wav
   

3. コンフィギュレーション生成パラメータ::
   • 生成の詳細は、音楽のスタイルやボーカルのタイプなど、コマンドラインパラメーターで調整できる： バッシュ
python generate_song.py --lyrics lyrics.txt --output song.wav --style pop --vocal 男性


詳細な機能操作

• 歌詞::
  • 歌詞ファイルを入力すると、リード・ボーカルとバッキング・ボーカルを含むフル・ソングが自動的に生成されます。
  • 幅広い音楽スタイルとヴォーカル・タイプに対応しており、ユーザーは必要に応じてさまざまなパラメーターを選択できる。
• 様々な音楽スタイル::
  • ポップス、メタルなど様々な音楽スタイルをサポートしている。
• 高品質ジェネレーション::
  • このモデルは、出来上がった楽曲がプロフェッショナルな音楽制作のために首尾一貫した高品質なものになるように最適化されている。
• オープンソースプロジェクト::
  • このコードとモデルはオープンソースであり、科学研究や商用アプリケーションのために、ユーザーが自由に使用したり変更したりすることができる。
• GPU最適化::
  • GPUによる大規模な並列計算をサポートし、生成効率を高め、長時間の楽曲生成に適している。