XTuner V1 - Shanghai AI Lab オープンソース大規模モデルトレーニングエンジン

1.5K 00

XTuner V1とは？

XTuner V1は、上海人工知能研究所によってオープンソース化された新世代の大規模モデル学習エンジンであり、超大規模スパース混合エキスパート（MoE）モデル学習用に設計されています。PyTorch FSDPをベースに開発されたXTuner V1は、メモリ、通信、負荷などの多次元最適化により、高性能な学習を実現します。XTuner V1は、最大1兆個のパラメータを持つMoEモデルの学習をサポートし、2,000億スケールを超えるモデルの学習スループットにおいて、初めて従来の3次元並列ソリューションを超えました。また、シーケンス並列化技術を使用しない64kロングシーケンス・トレーニングをサポートしており、エキスパート並列化の依存性を大幅に低減し、ロングシーケンス・トレーニングの効率を向上させています。

XTuner V1の特徴

非破壊トレーニング2,000億規模のMoEモデルは専門家の並列処理なしで学習可能であり、6,000億規模のモデルではノード内の専門家の並列処理のみが必要である。
ロングシーケンス対応配列の並列性なしで、2,000億MoEモデルの64k配列長トレーニングをサポート。
高性能1兆個のパラメータを持つMoEモデル・トレーニングをサポートし、従来の3次元並列処理よりも2,000億以上のモデル・トレーニング・スループットを実現。
ビデオメモリの最適化自動チャンクロスメカニズムと非同期チェックポイント・スワップ技術により、グラフィックス・メモリのスパイクを低減します。
通信エリアメモリの最適化とノード内Domino-EP技術により、通信時間の浪費を抑えます。
DPロードバランシング可変長アテンションによって引き起こされる計算上の空泡問題を軽減し、並列次元のデータにおける負荷分散を維持する。
ハードウェアの共同最適化Huawei Riseと共同でAscend A3 NPUスーパーノードに最適化され、トレーニング効率はNVIDIA H800を上回ります。
オープンソースとツールチェーンのサポートXTuner V1、DeepTrace、ClusterXをオープンソースで完全サポート。

XTuner V1の主な利点

効率的なトレーニング最大1兆個のパラメータに対するMoEモデル・トレーニングをサポートし、2,000億個以上のスケールのモデルに対する従来の3D並列ソリューションを凌駕するトレーニング・スループットを実現します。
ロングシーケンス処理強化学習のような長いテキスト処理のシナリオに適しています。
低資源2,000億のパラメトリック・モデルはエキスパート並列処理を必要とせず、6,000億のモデルはノード内エキスパート並列処理のみを必要とするため、ハードウェア・リソース要件が低減されます。
ビデオメモリの最適化システムに追加された最新のテクノロジーは、より大規模なモデル・トレーニングをサポートするために、自動チャンク・ロス（Chunk Loss）と非同期チェックポイント・スワップ（Async Checkpointing Swap）によってメモリ・スパイクを大幅に削減する。
通信の最適化メモリ最適化とノード内ドミノEP技術により通信時間消費をマスクすることで、通信オーバーヘッドがトレーニング効率に与える影響を低減する。
負荷分散可変長アテンションに起因する計算上のヌルバブル問題を緩和し、並列次元データの負荷分散を確保し、トレーニング効率を向上させる。

XTuner V1の公式サイトは？

プロジェクトのウェブサイト:: https://xtuner.readthedocs.io/zh-cn/latest/
GitHubリポジトリ:: https://github.com/InternLM/xtuner

XTuner V1の対象者

大規模モデルの研究者超大規模なスパース混合専門知識（MoE）モデルのトレーニングを必要とする研究者のために、XTuner V1は、最大1兆個のパラメータを持つモデルのトレーニングをサポートする高性能トレーニングエンジンを提供します。
ディープラーニング・エンジニア大規模な分散トレーニングに取り組むエンジニアのために、XTuner V1は最適化された通信機能とメモリ管理機能を提供し、トレーニング効率を大幅に改善します。
AIインフラ開発者ハードウェアの協調最適化と高性能コンピューティングに重点を置く開発者向けに、XTuner V1はファーウェイのRiseテクノロジー・チームと連携し、ハードウェア固有の詳細な最適化を提供します。
オープンソースコミュニティの貢献者XTuner V1のオープンソースコードは、オープンソースプロジェクトに興味を持ち、貢献したいと考える開発者に、豊富な開発と最適化の機会を提供します。
エンタープライズAIチームXTuner V1は、大規模モデルのトレーニングに効率的で閾値の低いソリューションを必要とする企業チーム向けに、使いやすく高性能なツールチェインサポートを提供します。