検索 o1: 推論モデルに能動的な検索機能を与え、大規模モデルが思考しながら外部の知識を検索できるようにする。

はじめに

Search-o1は、高度な検索メカニズムを統合することにより、大規模推論モデル(LRM)のパフォーマンスを向上させることを目的としたオープンソースプロジェクトである。その中核となるアイデアは、動的な検索と知識の統合を通じて、推論プロセスで遭遇する知識不足の問題を解決することです。このプロジェクトはsunnynexusチームによって開発され、バッチ生成メカニズムや代替検索方法を提供し、推論プロセスの精度と信頼性を向上させるために、リアルタイムで関連するドキュメントを推論プロセスに挿入することができます。 search-o1は、複雑な科学的、数学的、プログラミングの質問に適しており、様々な言語環境をサポートし、主にPythonを使用して開発とデプロイメントを行います。

機能一覧

• バッチ生成メカニズム複数の推論シーケンスを同時に生成し、効率を高める。
• 代替検索推論中に知識不足が検出された場合、関連情報を動的に検索します。
• ドキュメントの統合検索された文書を推論チェーンにシームレスに統合します。
• 学際的サポート科学、数学、コーディングのような複雑な分野の質問に答えるのに適している。
• リアルタイム知識更新推論プロセスにおいて、モデルが最新の知識にアクセスできるようにする。

ヘルプの使用

設置プロセス

Search-o1プロジェクトは主にGitHubを通じてホストされ、配布されている。インストール手順は以下の通り：

1.クローン倉庫::

git clone https://github.com/sunnynexus/Search-o1.git

2. 仮想環境の構築::

   conda create -n search_o1 python=3.9
   conda search_o1 をアクティブにする
   

3. 依存関係のインストール::

   cd Search-o1
   pip install -r requirements.txt
   

4. データ前処理::
   • data/data_pre_process.ipynbのコードを使用して、データセットを標準的なJSON形式に前処理する。

使用方法

推論シーケンスの初期化

Search-o1は、タスク指示と入力質問を組み合わせて推論シーケンスを初期化する。例えば

from search_o1 import initialize_reasoning
init_sequence = initialize_reasoning("Please count the number of primes", "between 1 to 100")

バッチ生成と検索

検索機能は、モデルが外部の知識を必要とする場面に遭遇したときに起動する：

from search_o1 import batch_generate_and_search
results = batch_generate_and_search(init_sequence, max_tokens=500)

• バッチ生成スルー バッチ生成と検索 この関数は、複数の推論パスを同時に生成し、各パスにおいてさらなる知識クエリの必要性を検出する。
• 検索統合検索の必要性が検出されると、システムは事前に定義された検索エンジン（Googleやカスタムデータベースなど）を使用して関連文書を取得し、その後、関連文書を推論チェーンに統合する。

反復推論

推論は反復プロセスであり、世代が変わるたびに新たな検索や文書統合が必要になることもある：

from search_o1 import iterate_reasoning
final_answer = iterate_reasoning(results, iterations=5)

• 反復回数タスクの複雑さに応じて、推論の正確さを保証するために反復回数を調整することができます。

実践的な問題への応用

Search-o1は、科学研究における複雑な計算や、プログラミングにおけるアルゴリズムの最適化など、多くの背景知識を必要とする問題の解決に特に適しています。一例を挙げましょう：

• 数学の問題オイラーの方法を用いて微分方程式を解く」というような問題は、Search-o1を使って解くことができます。Search-o1では、モデルが自動的にオイラーの方法に関する情報を検索し、推論に適用します。
• プログラミングの問題高速ソートアルゴリズムを最適化する方法」のようなプログラミング問題に対して、Search-o1は検索されたアルゴリズム改善案を推論することができる。

上記の方法で、ユーザーはSearch-o1を利用することができる。 複雑で知識集約的なタスクを実行し、推論のすべてのステップが最新かつ関連性の高い知識に基づいていることを確認する。