Awex - Antグループのオープンソース高性能ウェイト交換フレームワーク

エイウェックスとは？

Awexは、Ant Groupによるオープンソースの高性能な重み交換フレームワークで、強化学習における大規模なパラメータ同期用に設計されています。Awexは、テラバイトレベルのパラメータ交換を数秒で完了させることができ、 学習と推論の効率を大幅に向上させます。Awexは非常に高速な同期性能を持ち、 1000枚のカードクラスタでは、1兆個のパラメータモデルを全同期の6秒以内に完了させることができます。Awexはゼロ冗長転送とインプレース更新をサポートし、必要なスライスのみを転送してメモリコピーのオーバーヘッドを削減します。NCCL、RDMA、共有メモリなどの複数の転送モードをサポートし、ハードウェアの帯域幅を最大限に活用します。NCCL、RDMA、共有メモリなどの複数の伝送モードをサポートし、ハードウェアの帯域幅を最大限に活用します。異種配備に対応し、共通カードと分割カードのモードをサポートし、さまざまなトレーニングシナリオに適応します。

Awexの特徴

• 極めて高速な同期パフォーマンス大規模なクラスタ環境では、テラバイト級のパラメータの同期を素早く完了させることができ、強化学習の学習と推論の効率を大幅に向上させることができます。例えば、1,000枚クラスのクラスタでは、1兆パラメータのモデルを6秒でフルボリュームと同期させることができます。
• ユニファイド・モデル・アダプテーション・レイヤー（UMAL）異なる学習エンジンや推論エンジン間のTensorフォーマットやレイアウトの違いを自動的に処理し、複数のモデル・アーキテクチャをサポートします。
• 冗長性ゼロの伝送とその場での更新必要なパラメータスライスのみを送信することで、推論側はその場でビデオメモリを更新し、ビデオメモリの再割り当てやコピーのオーバーヘッドを回避し、リソースの利用効率を向上させます。
• マルチモード伝送対応NCCL、RDMA、共有メモリなど、さまざまな伝送モードに対応し、さまざまなハードウェアの帯域幅の利点をフルに生かすと同時に、ロングテールの待ち時間を短縮し、全体的な伝送パフォーマンスを向上させます。
• 異種展開の互換性一般的なカードモードとスプリットカードモードをサポートし、同期および非同期の強化学習アルゴリズムのトレーニングシナリオに適応し、多様な導入ニーズに応える。
• フレキシブル・プラガブル・アーキテクチャ新しい学習エンジンや推論エンジンに、スケーラビリティと柔軟性をもってアクセスすることができます。

エイウェックスの強み

• 高性能同期例えば、1キロカロリーのクラスタでは、1兆個のパラメータモデルを6秒以内にフルボリュームで同期させることができます。
• 高い互換性Tensorのフォーマットとレイアウトを異なるトレーニングエンジンと推論エンジンに自動的に適応させ、複数のモデルアーキテクチャをサポートし、開発とデプロイの複雑さを軽減します。
• 効率的なトランスミッションスライシングに必要なパラメータのみを送信し、推論側はその場でビデオメモリを更新することで、ビデオメモリの再割り当てやコピーのオーバーヘッドを回避し、リソースの利用効率を向上させます。
• マルチモード伝送対応NCCL、RDMA、共有メモリなど複数の転送モードに対応し、ハードウェアの帯域幅を最大限に活用しながら、ロングテールのレイテンシを削減します。
• 柔軟なアーキテクチャカスタムウェイト共有とレイアウト動作をサポートし、スケーラビリティと柔軟性に優れた新しいトレーニングエンジンと推論エンジンへのアクセスを可能にします。

Awexの公式ウェブサイトは？

• Githubリポジトリ:: https://github.com/inclusionAI/asystem-awex

Awexの対象者

• ディープラーニングと強化学習の研究者大規模なクラスタ上で効率的に学習や推論を行う必要がある研究者、特に大規模なパラメトリックモデルを扱うチームは、Awexによって生産性を大幅に向上させることができます。
• 人工知能エンジニアAwexは、企業や組織で強化学習システムの開発・導入を担当するエンジニアが、モデルの学習と推論を迅速に同期させ、システムのパフォーマンスを最適化するのに役立ちます。
• クラウド・コンピューティングとデータセンター事業者Awexの効率的なパラメータ同期機能は、リソースの利用を最適化し、データセンターの全体的な運用効率を向上させます。
• ハイパフォーマンス・コンピューティング（HPC）開発者Awexのマルチモーダル・トランスポートと柔軟なアーキテクチャは、ハイパフォーマンス・コンピューティング環境でのニーズに応えます。