ZeroSearch - アリ・トンイ、オープンソースの大規模モデル検索エンジン・フレームワークを発表

1.5K 00

ゼロサーチとは

ZeroSearchはAlibaba Tongyi Labsのオープンソースの革新的な大規模モデル検索エンジンのフレームワークです。ZeroSearchは、軽量な教師付き微調整とコース学習メカニズムに基づいて、モデルの推論能力を徐々に向上させ、様々な強化学習アルゴリズム（PPO、GRPOなど）をサポートします。ZeroSearchは、複数のQ&Aデータセットで優れたパフォーマンスを発揮し、Google検索を凌駕します。ZeroSearchは、インテリジェントなQ&A、コンテンツ作成、研究開発など様々なシナリオに適用可能で、高い拡張性と汎用性を備えています。

ZeroSearchの主な特徴

アナログ検索機能ZeroSearchは、検索エンジンの検索機能をシミュレートし、外部の本物の検索エンジンに依存することなく、ビッグモデル自身の知識リザーブで文書を生成することができ、利用コストと外部依存を低減します。
柔軟な文書作成クエリに関連する高品質な文書を生成したり、ノイズの多い文書を生成したり、キューワードの調整によって文書の品質を柔軟に制御したりすることができ、モデル学習に多様な検索シナリオを提供することができる。
効率的なコスト削減ZeroSearchは、強化学習のための実際の検索エンジンを使った訓練に比べて、訓練コストを劇的に削減し、大規模な訓練をより経済的に実行可能にします。
高い互換性また、多くの強化学習アルゴリズム（PPO、GRPOなど）をサポートしており、拡張性と汎用性に優れています。

ゼロサーチ公式サイトアドレス

プロジェクトのウェブサイト::https://alibaba-nlp.github.io/ZeroSearch/
GitHubリポジトリ::https://github.com/Alibaba-nlp/ZeroSearch
HuggingFaceモデルライブラリ::https://huggingface.co/collections/sunhaonlp/zerosearch
arXivテクニカルペーパー::https://arxiv.org/pdf/2505.04588

ZeroSearchの使い方

環境準備::
- PythonのインストールPythonがシステムにインストールされていることを確認する（Python 3.8以上を推奨）。
- 依存ライブラリのインストールZeroSearchが必要とするPythonライブラリをインストールします。これは通常、以下のコマンドで行うことができます：

pip install -r requirements.txt

- 具体的な依存関係ファイルはGitHubリポジトリにある。
コードとモデルの取得::
- GitHubリポジトリのクローンZeroSearchの公式GitHubリポジトリからコードをクローンする：

git clone https://github.com/Alibaba-nlp/ZeroSearch.git
cd ZeroSearch

- 訓練済みモデルのダウンロードZeroSearchの指示に従って、必要な訓練済みモデル・ファイルをダウンロードする。
設定環境::
- モデルパスの設定ZeroSearchがモデルを正しく読み込むように、コード内で事前学習済みモデルへのパスを指定します。
- パラメータの設定モデル・サイズ、強化学習アルゴリズム、学習データ・パスなど、必要に応じてZeroSearchの設定ファイルやコードのパラメーターを調整する。
ゼロサーチの実行::
- プライミングトレーニングZeroSearchトレーニングスクリプトを実行します。以下のコマンドに基づいて起動する：

python train.py

- 具体的なスクリプト名やパラメータはバージョンによって異なりますので、公式ドキュメントを参照してください。
テストと検証トレーニングが完了したら、テストデータセットでZeroSearchのパフォーマンスを検証し、関連文書が正しく生成され、質問に回答されていることを確認します。

ゼロサーチの強み

検索エンジンとの本格的なやり取りは不要ZeroSearchは、シミュレートされた検索エンジンの機能に基づいており、外部の検索エンジンから完全に独立しているため、コストと依存性を削減できます。
大幅なコスト削減従来の方法に比べ、ZeroSearchのトレーニングコストは大幅に低いため、大規模トレーニングの費用対効果が高くなります。
柔軟な文書作成機能このシステムは、高品質な文書やノイズの多い文書の作成をサポートし、ユーザーのニーズに応じて柔軟に調整することができるため、多様なトレーニングシナリオに対応することができる。
パワフルな技術的実現軽量な教師付き微調整、コース学習メカニズム、F1スコアに基づく報酬メカニズムに基づく、モデルのパフォーマンスと推論の強化。
幅広い適用範囲様々な大規模モデルや強化学習アルゴリズムに対応しており、インテリジェントなQ&A、コンテンツ作成、教育、企業の知識管理など、様々なシナリオに適している。
オープンソースとコミュニティ・サポートオープンソースのフレームワークであるZeroSearchは、カスタマイズや最適化を容易にするために、コードフリーアクセスやコミュニティサポートを提供しています。