CWM - メタFAIRオープンソースコード世界言語モデル

1.8K 00

CWMとは

CWM（Code World Model）は、Meta FAIRチームによって公開された320億パラメータのオープンソース世界言語モデルであり、コード生成と推論のために設計されている。ワールドモデル "の概念を導入することで、コードの実行プロセスをシミュレートし、変数の状態変化を予測し、潜在的なエラーを事前に検出し、"ニューラルデバッガ "を構築するのに役立ちます。CWMは、自己テスト、エラーの修復、テストケースの生成、間違ったコードの修正を試みることができます。CWMは、自己テスト、エラーの修復、テストケースの生成、間違ったコードの修正を試みることができる。複雑な問題に直面しても、推論し、計画を立てて、コードを段階的に生成し、検証することができる。131kトークンという長いコンテキストの入力をサポートしており、複雑なプロジェクトの処理能力を向上させている。CWMは、SWE-bench Verifiedで65.8%というGPT-4レベルに近いスコアを出すなど、いくつかのコードや推論タスクで良好な結果を出している。

CWMの機能的特徴

コード実行シミュレーションCWMは、コードの実行プロセスを一行ごとにシミュレートし、コードの各行が変数の状態にどのような影響を与えるかを予測し、実行時の潜在的なエラーを事前に判断することができるため、「ニューラル・デバッガー」を構築することができる。
セルフコンディショニングと修理CWMはコードを生成し、自己テストし、エラーを修正することができる。コードを生成した後にテストケースを自動的に構築したり、コードの不具合を発見した後に複数の修正パスを使用して自己修正を試みたりすることができます。
推理力と計画性CWMは推論とプランニングが可能であり、複雑な問題に直面した場合、分析ステップの問題記述、プランニング機能の構造、そして実行予測と組み合わせて、段階的にコードを生成し、検証することができる。
ロング・コンテキスト入力CWMサポート 131k トークン長いコンテキストの入力に対応し、複雑なプロジェクト、複数ファイルのコード、ドキュメントのコンテキストの処理能力を飛躍的に向上させる。
3段階のトレーニング・プロセスCWMの学習は、事前学習、中間学習、事後学習の3段階からなり、非同期RLメカニズム、分散環境、ブートストラップアプローチを用いて、複数の環境やタスクにまたがるモデルの汎化を改善する。
オープンソースとコミュニティ・コラボレーションMeta FAIRは、CWMのモデルコード、トレーニングの詳細、重み付けのチェックポイントを複数の段階でオープンソース化し、コミュニティのコラボレーションとイノベーションを促進しています。
傑出したパフォーマンス例えば、SWE-bench VerifiedではGPT-4レベルに近い65.8%を記録し、LiveCodeBench v5では68.6%を記録しています。

CWMの強み

コード実行のシミュレーションコードの実行を一行ずつシミュレートし、変数の状態変化を予測し、潜在的なエラーを事前に検出し、コードのデバッグを強力にサポートします。
セルフコンディショニングと修理コード生成後にテストケースを自動的に構築し、エラー発見後に自己修復のための複数の修正パスを試し、コード品質を向上させます。
推理力と計画性複雑なプログラミングタスクに直面したときの推論と計画、タスク完了の精度と効率を向上させるための段階的なコードの生成と検証。
ロング・コンテキスト入力最大131kトークンのコンテクスト入力をサポートし、複雑なプロジェクトや複数ファイルのコード、ドキュメントのコンテクストの処理能力を大幅に向上。
3段階のトレーニング・プロセス非同期強化学習(RL)機構と分散環境を組み合わせることで、モデルの汎化能力と適応性を高めるために、事前学習、中間学習、事後学習の3段階の学習アプローチを用いる。
多言語展開の可能性現在はPython言語に焦点を当てていますが、将来的には他のプログラミング言語にも拡大し、より一般的な自動プログラミングアシスタントのフレームワークを構築する予定です。

CWM公式ウェブサイトとは

GitHubリポジトリ:: https://github.com/facebookresearch/cwm
HuggingFaceモデルライブラリ:: https://huggingface.co/facebook/cwm
技術論文:: https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/

CWMの対象者

ソフトウェア開発者CWMは、開発者が高品質のコードを迅速に生成し、開発効率を向上させ、デバッグ時間を短縮するのに役立ちます。
データサイエンティスト、機械学習エンジニアCWMは、データ処理、モデル構築、トレーニングに関連するコードの生成と最適化を支援し、特にコードの推論とプランニングを必要とするタスクの生産性を向上させます。
プログラミング・コンペ参加者CWMの推論とプランニング機能により、プログラミング競技の複雑な問題に対する解決策を提供し、参加者が迅速にコードを生成して検証できるようにします。
教育者と学生CWMは、生徒がコードの実行プロセスやデバッグ技術をよりよく理解するための教材として使用することができ、教育者に豊富な教材を提供する。
コーポレート・テクニカル・チームCWMは組織の開発プロセスに統合することができ、迅速な反復とデプロイを必要とするプロジェクトのコード品質と開発効率の向上を支援する。