Circuit Tracer - モデルの内部構造を視覚化するAnthropicのオープンソースツール

サーキット・トレーサーとは？

サーキット・トレーサー アンソロピック 大規模な言語モデルの内部構造を研究するためのオープンソースツール。Circuit Tracerは、モデルが特定の出力を生成する際に内部的に通過するステップを明らかにする帰属グラフの生成に基づいています。Circuit Tracerは、GemmaやLlamaなどの様々な人気のあるオープンソースモデルをサポートしており、Neuronpediaに基づいたインタラクティブなビジュアルインタフェースを提供することで、ユーザがモデルの動作を簡単に探索・分析できるようになっています。Circuit Tracerはモデル介入をサポートしており、ユーザがフィーチャ値を変更してモデル出力の変化を観察し、モデルの動作や仮定を検証することができます。

サーキットトレーサーの主な機能

• アトリビューション・マップの作成特定の出力を生成する際のモデルの内部決定経路を明らかにし、フィーチャーとノードの間の関係の直接的な影響を示す。
• ビジュアライゼーションとインタラクションNeuronpediaが提供するインタラクティブなインターフェイスに基づき、アトリビューションマップを直感的に表示・操作し、簡単に理解・共有することができます。
• モデリング介入帰属マップの固有値を修正し、モデル出力の変化を観察して、モデルの動作と仮定を検証する。
• 複数のモデルをサポートGemmaやLlamaなど、様々なオープンソースモデルと互換性があり、比較研究を容易にする。
• グラフの刈り込みと最適化影響力の弱いノードやエッジを自動的に削除し、アトリビューショングラフをシンプルにし、読みやすさを向上させます。

サーキットトレーサー公式サイトアドレス

• プロジェクトのウェブサイト::https://www.anthropic.com/research/open-source-circuit-tracing
• GitHubリポジトリ::https://github.com/safety-research/circuit-tracer

サーキット・トレーサーの使い方

• PythonスクリプトやJupyterノートブックでは::
  • GitHubリポジトリのクローン::

git clone https://github.com/safety-research/circuit-tracer.git

• • 依存関係のインストール::

cd circuit-tracer
pip install .

• • チュートリアルのノートブック demos/circuit_tracing_tutorial.ipynb を実行するか、独自のスクリプトを作成してください。
• コマンドラインインターフェイス（CLI）の使用法::
  • 依存関係をインストールしたら、CLIコマンドを実行する。::

circuit-tracer attribute --prompt "Your prompt here" --transcoder_set gemma --slug demo --graph_file_dir ./graph_files --server

• • ローカルサーバー（例：localhost:8041）にアクセスし、アトリビューショングラフを表示する。

サーキットトレーサーの強み

• モデルの解釈可能性を高めるアトリビューション・ダイアグラムに基づき、モデルの意思決定プロセスを視覚化することで、モデルのロジックを理解しやすくします。
• 介入モデルのサポートモデルの出力の変化を観察し、モデルの動作を検証するために、固有値を修正します。
• 複数のモデルに対応Gemma、Llama、その他のオープンソースモデルをサポート。
• 使いやすいWebインターフェース、Pythonスクリプト、Jupyterノートブック、コマンドライン。
• オープンソースとコミュニティ・サポートコミュニティの交流を促進するため、改変や拡張が容易なオープンソースコードを採用。
• グラフの刈り込みと最適化アトリビューション・チャートを自動的に簡略化し、読みやすさを向上。

サーキット・トレーサーの対象者

• AI研究者例えば、多言語モデルや多段階推論のような複雑な動作を研究している研究者など。
• 機械学習エンジニア回路トレーサーをベースとしたモデルの開発、最適化、デバッグ、性能向上に携わるエンジニア。
• データサイエンティストモデルの意思決定プロセスを説明する必要のあるデータサイエンティスト、特に金融やヘルスケアなど、モデルの解釈可能性が要求される領域。
• 学術研究者大学や研究機関でAI関連の研究を行い、実験や研究成果の発表を行う研究者。
• テクノロジーマニアAIモデルの内部メカニズムに興味があり、モデルの挙動を探索・学習するためのツールを求めている開発者や技術愛好家。