MindSearch: オープンソースのAI検索エンジンフレームワーク！

はじめに

MindSearchは、上海人工知能研究所（SAL）が発表したオープンソースのAI検索エンジンフレームワークで、複雑な情報収集と統合のための人間の思考プロセスをシミュレートすることを目的としている。このツールは、大規模言語モデリング（LLM）と検索エンジンの高度な技術を組み合わせ、マルチインテリジェンス体のフレームワークを通じて、数百のウェブページの自律的な情報収集と統合を実現し、短時間で包括的な回答を与える。ユーザーは、クローズドソースのLLM（GPT、Claudeなど）またはオープンソースのLLM（InternLM2.5シリーズモデルなど）を使用して、独自の検索エンジンを展開することができます。

核となるロジックは、人間の思考プロセスをシミュレートするために、マルチ・インテリジェント・ボディ・フレームワークが使用されるというもので、これには2つの主要コンポーネントが含まれる。層)とWebSearcher(遺言執行者).

• WebPlannerは、ユーザーの質問を分解し、検索を導くために有向無サイクルグラフ（DAG）を構築する；
• WebSearcherは、インターネットからWebPlannerに貴重な情報を取得し、フィルタリングします；
• WebPlannerは最終的に結論を出す。

機能一覧

• マルチ・インテリジェンス・ボディ・フレームワーク複数の知能が協調して働くことで、複雑な情報を収集し統合する。
• 複数のLLMをサポートクローズドソースとオープンソースの両方の大規模言語モデルに対応しているため、ユーザーは必要に応じて適切なモデルを選択できます。
• 複数のフロントエンド・インターフェースReact、Gradio、Streamlitなどのフロントエンドインターフェースを提供し、ユーザーの利便性を高める。
• 深い知識の探求何百ものウェブページをナビゲートすることで、広範かつ詳細な回答を提供します。
• 透明なソリューション・パス回答の信頼性と有用性を高めるために、思考経路や検索用語などの完全なコンテンツを提供する。

技術的原則

1.WebPlanner：インテリジェントなプランニングハブ

WebPlannerはMindSearchのインテリジェントな頭脳であり、検索タスクを有向無サイクルグラフ（DAG）に構築する。ユーザーの問題を受け取った後、言語モデルコード生成の機能により、定義済みのアトミックコード関数を使用して問題をサブ問題ノードに分解し、問題解決のフレームワークを概説する。検索プロセスでは、WebSearcherからのフィードバックに基づき、グラフが柔軟に拡張・改良され、システムが情報を正確にマイニングできるように戦略が動的に調整される。例えば、「医用画像診断におけるAI応用の現状と課題」という問いに直面すると、医用画像の種類、AIアルゴリズムの応用例、データのプライバシーや解釈の正確さなどのサブクエスチョンを分解し、包括的な回答への道を開く。

2,WebSearcher：情報マイニング・ポインター

WebSearcherは、情報マイニングのパイオニアである。粗目から細目への戦略を採用し、まず精度を高めるためにキーワードを最適化し、膨大な検索コンテンツを集約して冗長性を排除し、重要なページを正確に選別した上で、要約と詳細な絞り込みを行います。言語モデルの助けを借りて、断片的な情報を理解・統合し、論理的で首尾一貫した知識モジュールに変換します。新エネルギー自動車バッテリー技術のブレークスルー」を例にとると、科学研究機関の報告書、業界ニュース、企業の公式ウェブサイトなどから、バッテリーエネルギー密度の向上や充電速度の高速化といった重要な情報を素早くフィルタリングし、整理された形で提示することができます。

機能的特徴

1、深い知識の抽出

MindSearchは、多数のウェブページを深く掘り下げ、ユーザーに深い知識を提供します。古代文明の謎を探るにも、最先端の技術開発を追跡するにも、膨大な量のオンラインリソースを選別することができる。例えば、「宇宙暗黒物質研究の進展」をクエリすると、基本概念を提供するだけでなく、最新の観測データ、理論モデル、世界的な研究チームのマイルストーンを要約し、ユーザーが体系的な知識体系を構築できるよう支援します。

2、サーチパスの透明性

従来の検索エンジンとは異なり、MindSearchはユーザーに思考経路、検索キーワード、情報統合プロセスを表示します。ユーザーが「法律条項の解釈」を検索すると、その答えだけでなく、法律データベース、専門家のフォーラム、ケーススタディから情報を選別し、統合するプロセスも知ることができ、信頼性を高め、ユーザーが関連知識を向上させるための詳細な調査や研究を容易にします。

3、マルチインターフェース対応

MindSearchは、React、Gradio、Streamlit、ローカルデバッグのためのインターフェイスを提供し、さまざまなユーザーニーズを念頭に置いている。開発者は 反応 Gradioインターフェイスはウェブアプリケーションに統合され、一般ユーザーは複雑なプログラミングや環境設定なしに、GradioまたはStreamlitインターフェイスから便利に問い合わせることができ、利用の敷居を下げ、ユーザーエクスペリエンスを向上させる。

4.ダイナミック・マップ構築メカニズム

動的グラフ構築機能は、ユーザーのクエリに応じてサブクエスチョン・ノードを生成し、検索結果に基づいてリアルタイムに展開することができる。ソーシャルメディアが思春期のメンタルヘルスに与える影響」のようなホットな話題に直面しても、新しい研究や出来事を考慮して検索グラフをタイムリーに更新し、最も関連性の高い最新の情報を提供できるように柔軟に方向性を調整することができる。

アプリケーションシナリオ

1、学術研究のための良いヘルパー

学術分野では、MindSearch は研究者の情報収集時間を大幅に短縮します。たとえば、歴史学者が特定の歴史時代の文化交流を研究する場合、古文書、考古学的報告書、学術論文、およびその他のリソースを統合して、通信の系統や重要な出来事を整理することができ、学者が重要な情報をすばやく見つけ、研究の方向性を明確にし、研究の効率を向上させるのに役立ちます。

2.クリエイティブ・インスピレーション

クリエイターにとって、MindSearchはインスピレーションの源である。コピーライターが観光コピーを作成する際には、観光地の特別な食べ物、ニッチなアトラクション、民俗風習などの素材を検索し、それらを魅力的なコピーに統合・加工することができる。映画やテレビの脚本家は、SFの脚本を作るとき、斬新なSFのコンセプトや未来のシナリオなど、創造的なコンテンツを充実させるためのインスピレーション素材を得ることができる。

3.経営判断の羅針盤

商業分野では、企業は MindSearch を使用して市場動向を監視し、競合他社の動向を分析し、消費者ニーズを洞察することができる。たとえば、ケータリング会社が新商品戦略を開発する場合、人気のある食材、競合他社の話題の料理、消費者の味の好みに関する情報を検索し、総合的な調査の後に市場の需要を満たし、市場での競争力を高める新商品を発売することができる。

ヘルプの使用

1,依存するインストール

まず、システムに Python 環境がインストールされていることを確認します (Python 3.8 以上を推奨)。次に、コマンドラインで MindSearch プロジェクトのルートディレクトリに移動し、次のコマンドを実行して必要な依存関係をインストールします：

pip install -r requirements.txt

このステップでは、MindSearchの実行に必要なさまざまなPythonライブラリとモジュールを自動的にダウンロードしてインストールし、その後の起動と使用に備えます。

2,MindSearch APIを起動する

依存関係のインストールが完了したら、MindSearch API を起動できます。次のコマンドを使用して、FastAPI サーバーを起動します：

python -m mindsearch.app --lang ja --model_format internlm_server --search_engine DuckDuckGo Search

ここでは、実際のニーズに合わせてパラメータを調整することができます：

• 例えば、`en`は英語、`cn`は中国語を意味します。入力言語と検索結果の言語に応じて選択してください。
• `--model_format`: モデルのフォーマットを指定します。例えば `internlm_server` は InternLM2.5 - 7b - chat ローカルサーバーモデルを使用することを意味します。他のモデル、例えば GPT4 を使用したい場合は `gpt4` に変更する必要があります。.
• search_engine`：検索エンジンを選択するために使用する。

  DuckDuckGoSearch`（DuckDuckGo検索エンジン）、`BingSearch`（Bing検索エンジン）、`BraveSearch`（Brave検索エンジン）、`GoogleSearch`（Google Serper検索エンジン）、`TencentSearchTencent検索エンジン）などである。DuckDuckGo と Tencent 以外のウェブ検索エンジンを選択する場合は、対応する API キーを環境変数 `WEB_SEARCH_API_KEY` に設定する必要がある。_search_secret_key`を設定する必要がある。

3,MindSearchフロントエンドの起動

MindSearch では、ユーザーが選択できるさまざまなフロントエンド インターフェイスを提供しています：

3.1 リアクト

1.まず、実際のバックエンドのURLを指定して、ViteのAPIプロキシを設定する必要があります。バックエンドサーバーがローカルで`127.0.0.1`のポート`8002`で動作していると仮定して（実際の状況に応じて変更してください）、以下のコマンドを実行します：

ホスト="127.0.0.1"PORT=8002sed -i -r "s/target:\s*"︓/target: ︓${HOST}:${PORT}"/" frontend/React/vite.config.ts

2.お使いのシステムにNode.jsとnpmがインストールされていることを確認してください。Ubuntuシステムの場合は、以下のコマンドでインストールできます：

sudo apt install nodejs npm

Windowsの場合は、[Node.js公式ウェブサイト](https://nodejs.org/zh-cn/download/prebuilt-installer)から、お使いのシステムに適したバージョンのNode.jsをダウンロードしてインストールする必要があります。

3.frontend/React`ディレクトリに移動し、以下のコマンドを実行してプロジェクトの依存関係をインストールし、Reactフロントエンドを起動する：

cd frontend/Reactnpmインストールnpmスタート

3.2 グラディオ

コマンドラインで以下のコマンドを実行して、Gradioフロントエンドを起動する：

python frontend/mindsearch_gradio.py

3.3 ストリームライト

Streamlitフロントエンドを起動するには、以下のコマンドを使用します：

streamlit run frontend/mindsearch_streamlit.py

3,ローカルデバッギング

ローカルでデバッグしたい場合は、以下のコマンドを使うことができる：

python mindsearch/terminal.py

ローカルデバッグにより、ローカル環境での MindSearch の動作をより簡単に確認し、最適化することができます。

結語

MindSearchは、そのユニークな技術、豊富な機能性、多様な応用シナリオにより、情報検索の分野に革新の波を起こした。ユーザーの情報アクセスの効率と質を向上させ、開発者のための革新的なプラットフォームを構築し、AI検索エンジン技術の発展を促進する。MindSearchは、学術的、創造的、商業的な分野において大きな可能性と価値を有している。私たちは、MindSearchが今後も進化し続け、知識の世界をより効率的に探索し、インテリジェントな情報検索の新しい体験を楽しむことができると信じています。