Ouro - ByteHopper Seedチームがオープンソース化した新しい循環言語モデル

15.9K 00

オウロとは？

Ouroは、Byte Jump Seedチームによって開発された新しいタイプのループ言語モデル（LLM）であり、中核となる革新的な点は、パラメータ共有ループ計算構造を通じて、事前学習段階で推論能力を直接構築することにある。このモデルは、ベースブロックとして24層を採用し、4つのループを通じて96層と同等の計算深さを達成するが、1.4Bのパラメータスケールを維持し、小規模モデルの推論効率を大幅に向上させる。実験によると、Ouro 1.4BはBBH推論ベンチマークで71.02を記録し、4Bパラメータモデルの性能に近づき、バージョン2.6BはMath500数学問題で90.85を達成し、8Bモデルを上回る。そのユニークな設計には、動的な計算メカニズム（単純なタスクではサイクルを減らし、複雑なタスクではサイクルを増やす）と、エントロピー正則化学習戦略が含まれ、モデルが適応的に思考の深さを調整することを可能にしている。

オウロの特徴

建築イノベーションOuroモデルは、後からの微調整に頼るのではなく、潜在空間で繰り返し計算を行うことで、事前学習フェーズに直接推論機能を組み込んでいる。このアーキテクチャは、N個の共有ウェイト層からなる「レイヤスタック」で構成され、順伝播の間に複数回、すなわち複数の「ループステップ」をループさせることで、「動的計算」を可能にしている。これにより「動的計算」が可能になり、モデルの計算規模を「パラメータ数」から「計算の深さ」に切り離すことができる。
トレーニング戦略Ouroモデルは新しい2段階の適応的計算トレーニング戦略を採用している。第2段階は、計算コストと性能向上をトレードオフするために、出口ゲーティングを明示的に最適化する適応ゲーティング学習段階である。
パラメトリック効率1.4Bと2.6Bのモデルは、あらゆる種類のベンチマークにおいて、はるかに大きなSOTA LLM（それぞれ最大4Bと12Bのパラメータ）の性能に常に匹敵するか、あるいはそれ以上であり、2～3倍のパラメトリック効率向上を達成しています。
推理力Ouroモデルの性能の優位性は、知識容量の増加からではなく、はるかに優れた知識操作能力、すなわち、複数のステップで推論し、事実を組み合わせる能力から生じている。オウロ・モデルの優位性は、GSM8KやMATH500のような難しい数学的推論タスクにおいて特に顕著である。
セキュリティと忠実性ベースラインモデルと比較して、Ouroの有害コンテンツ生成率は低く、ループステップ数が増加するにつれて減少する。その推論プロセスは、より因果関係に忠実であり、中間ステップがより最終的な答えに密接に関連していることが示されている。

オウロの強み

強い推論オウロは多段階の推論と論理的推論に優れ、特に難しい数学的推論の課題では、論理的な推論と計算を正確に行うことができる。
優れたパラメトリック効率Ouroは、リカレントアーキテクチャと学習戦略によってパラメトリック効率を大幅に向上させた。小さなモデルは、いくつかのベンチマークにおいて、大きなモデルと同等、あるいはそれ以上の性能を示す。
セキュリティと忠実性Ouroは、有害なコンテンツの生成率を低く抑え、より安全なテキストコンテンツを生成する。その推論プロセスはより因果関係に忠実で、中間ステップが最終的な答えに密接にリンクしている。
オープンソースとスケーラビリティオウロ・モデルはオープンソース化され、1.4Bと2.6Bのパラメータ・スケールで利用できる。
効果的なトレーニング戦略Ouroは、推論プロセスを最適化し、モデルの性能を向上させるために、異なる計算深度を効率的に探索する2段階の適応的計算トレーニング戦略を採用している。
多言語サポートOuroは多言語をサポートし、機械翻訳や多言語Q&Aなど、言語横断的なタスクを処理することができ、幅広い用途に使用できます。

オウロの公式サイトは？

プロジェクトのウェブサイト:: https://ouro-llm.github.io/
HuggingFaceモデルライブラリ:: https://huggingface.co/collections/ByteDance/ouro
arXivテクニカルペーパー:: https://arxiv.org/pdf/2510.25741

オウロの対象者

自然言語処理（NLP）研究者Ouroモデルの革新的なアーキテクチャとトレーニング戦略は、研究者に新しい研究の方向性と実験プラットフォームを提供し、自然言語処理分野の技術的進歩を促進するのに役立ちます。
人工知能開発者Ouroのオープンソースとしての性質と柔軟性は、インテリジェントなカスタマーサービスやコンテンツ生成ツールなど、様々な言語モデリングアプリケーションを構築する開発者にとって理想的です。
教育者と学生数学的推論と論理的演繹におけるオウロの強みは、インテリジェント・チューター・システム、自動問題解決ツール、その他生徒が複雑な概念をよりよく学び理解するためのツールを開発するための、教育における強力なツールとなる。
コンテンツクリエーターオーロは、クリエイティブなライティング、コピー作成、ストーリーテリングを支援し、コンテンツ制作者の生産性とインスピレーションを高めます。
企業と組織オウロは、社内のナレッジマネジメント、顧客サービス、コンテンツ監査のシナリオに使用することができ、業務効率とユーザーエクスペリエンスを向上させます。