Nemotron 3 - NVIDIAがリリースしたオープンソースのAIモデルファミリー

1.1K 00

ネモトロン3とは？

Nemotron 3は、NVIDIAがNano、Super、Ultraの各サイズでリリースしたオープンソースのAIモデルファミリーである。Nemotron 3 Nanoは、推論効率を大幅に改善し、運用コストを削減する潜在MoEアーキテクチャに基づいて構築されています。Nemotron 3 Nanoは、300億のパラメータを持ち、1回の起動で最大30億のパラメータを使用可能で、ソフトウェアのデバッグ、コンテンツの要約、AIアシスタントのワークフロー、低推論コストの情報検索などのタスクに最適化されています。前モデルと比較してトークンネモトロン3スーパーは約1000億、ウルトラは約5000億のパラメータを持ち、マルチインテリジェンス・アプリケーションや複雑なAIシナリオに適している。

ネモトロン3の特徴

モデル・アーキテクチャMoE（Mixture-of-Experts）アーキテクチャは、Mambaレイヤー、Transformerレイヤー、MoEルーティングメカニズムを組み合わせ、長いシーケンスの効率的な処理、高精度な推論、スケーラブルな計算効率を実現する。このアーキテクチャは、大規模なマルチインテリジェンスシステムをサポートし、「エキスパート」ネットワークを動的に呼び出して計算コストを削減し、スループットを向上させることができる。
モデルサイズサイズは3種類：
- ナノ300億のパラメータと30億のアクティブパラメータにより、エッジデバイスの展開など、軽量で効率的なタスクを実現します。
- スーパー高精度の推論に重点を置き、マルチインテリジェンス・アプリケーション用に設計されています。
- ウルトラ科学計算、長文文書分析などの複雑なシナリオのための約5000億パラメータ。
非常に長いコンテキストのサポート100万個のトークンコンテキストウィンドウをサポートし、タスクの全コンテキスト、履歴、複雑な計画を扱うことができ、情報の断片化を軽減します。
マルチトークン予測一度に複数のトークンを生成し、長いシーケンスの推論やコード生成などのタスクの応答性を向上させます。
低いメモリ・オーバーヘッド最適化されたアーキテクチャとNVFP4などの定量化技術により、パフォーマンスを維持しながらメモリフットプリントを削減します。

ネモトロン3の主な利点

ハイブリッド・アーキテクチャーの革新MoEアーキテクチャは、マンバ・レイヤーと変圧器レイヤーの計算効率を最適化し、モデルの性能を向上させる。
推論効率の向上Nemotron 3 Nanoは、従来の4倍のスループットと60%の効率的な推論トークン生成を実現し、推論コストを大幅に削減します。
強力な長文処理スキルNanoモデルは100万トークンのコンテキスト・ウィンドウをサポートし、長文の効率的な処理を可能にし、情報の関連付けの精度を向上させます。
さまざまなニーズに応える複数の仕様ナノ、スーパー、ウルトラは、軽量タスクから複雑なマルチインテリジェンス・アプリケーションまで、さまざまなアプリケーション・シナリオに最適化されている。
オープンソースとカスタマイズモデルの重みはNVIDIA Open Model Licenceのもとで公開されており、開発者はGitHubを通じて、カスタマイズや最適化を容易にするための詳細なトレーニングやポストトレーニングレシピにアクセスすることができます。

ネモトロン3の公式サイトは？

プロジェクトのウェブサイト:: https://nvidianews.nvidia.com/news/nvidia-debuts-nemotron-3-family-of-open-models
HuggingFaceモデルライブラリ:: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8

ネモトロン3の対象者

AI開発者と研究者ネモトロン3は、カスタム開発や研究のために既存のモデルを構築したい開発者や研究者のために、オープンソースモデルと詳細なトレーニングレシピを提供します。
コーポレート・テクニカル・チーム効率的で低コストの推論機能を必要とする組織にとって、ネモトロン3の高スループットと低推論コスト機能は、ソフトウェアデバッグやコンテンツ要約などのビジネスシナリオに理想的なインテリジェントボディ開発ツールです。
マルチ・インテリジェンス・ボディのアプリケーション開発者ネモトロン3、特にスーパーバージョンとウルトラバージョンのマルチ仕様設計は、複雑な人間とコンピュータの相互作用システムや自動化されたプロセスのような、マルチインテリジェンス・アプリケーション・シナリオの開発に適しています。
AIアシスタント開発者Nanoバージョンの効率的な推論と長文処理機能は、よりスムーズなユーザー体験を提供するスマートアシスタントやチャットボットなどのアプリケーション開発に最適です。
教育・学術機関オープンソースモデルと柔軟なカスタマイズ機能により、教育機関が教育や研究に使用するのに適しており、学生や研究者が最新のAI技術をよりよく理解し、応用するのに役立ちます。