MindSearch: Open-Source-KI-Suchmaschinen-Framework zum Einsatz Ihrer eigenen Perplexity-Suchmaschine!

Allgemeine Einführung

MindSearch ist ein Open-Source-KI-Suchmaschinen-Framework, das vom Shanghai Artificial Intelligence Laboratory (SAL) ins Leben gerufen wurde und darauf abzielt, den menschlichen Denkprozess für die komplexe Informationsbeschaffung und -integration zu simulieren. Das Tool kombiniert die fortschrittlichen Technologien von Large-Scale Language Modelling (LLM) und Suchmaschinen. Durch ein Multi-Intelligenz-Framework ermöglicht es die autonome Sammlung und Integration von Informationen aus Hunderten von Webseiten und liefert in kurzer Zeit umfassende Antworten. Benutzer können ihre eigenen Suchmaschinen einsetzen, indem sie Closed-Source-LLM (z. B. GPT, Claude) oder Open-Source-LLM (z. B. Modelle der InternLM2.5-Serie) verwenden.

Die Kernlogik besteht darin, dass ein multi-intelligenter Körperrahmen verwendet wird, um menschliche Denkprozesse zu simulieren, einschließlich zweier Schlüsselkomponenten: der WebPlanner (Ebene) und WebSearcher (Vollstrecker).

• WebPlanner zerlegt die Frage eines Benutzers und erstellt einen gerichteten azyklischen Graphen (DAG), um die Suche zu steuern;
• WebSearcher holt wertvolle Informationen aus dem Internet und filtert sie für WebPlanner;
• WebPlanner kommt schließlich zu einem Ergebnis.

Funktionsliste

• Rahmen für die Multi-Intelligenz-StelleErfassung und Integration komplexer Informationen durch das Zusammenwirken mehrerer Intelligenzen.
• Unterstützt mehrere LLMsKompatibel sowohl mit Closed-Source- als auch mit Open-Source-Modellen für große Sprachen, so dass der Benutzer je nach Bedarf das passende Modell auswählen kann.
• Mehrere Front-End-SchnittstellenBereitstellung von React, Gradio, Streamlit und anderen Front-End-Schnittstellen für die Benutzerfreundlichkeit.
• Vertiefte WissenserkundungUmfassende und ausführliche Antworten durch die Navigation durch Hunderte von Webseiten.
• Transparenter LösungswegBereitstellung vollständiger Inhalte wie Gedankengänge und Suchbegriffe, um die Glaubwürdigkeit und Nutzbarkeit der Antworten zu erhöhen.

Technische Grundsätze

1. der WebPlanner: die intelligente Planungszentrale

WebPlanner ist das intelligente Gehirn von MindSearch, das Suchaufgaben in einem gerichteten azyklischen Graphen (DAG) aufbaut. Nachdem er das Problem des Benutzers erhalten hat, verwendet er mit der Fähigkeit der Sprachmodell-Codegenerierung vordefinierte atomare Codefunktionen, um das Problem in Teilproblemknoten zu zerlegen und den Problemlösungsrahmen zu skizzieren. Während des Suchprozesses wird der Graph auf der Grundlage des Feedbacks von WebSearcher flexibel erweitert und verfeinert, und die Strategie wird dynamisch angepasst, um das System zu einer genauen Informationsgewinnung zu führen. Bei der Frage "Aktueller Stand und Herausforderungen der KI-Anwendung in der medizinischen Bilddiagnose" werden beispielsweise die medizinischen Bildtypen, die Anwendungsbeispiele für KI-Algorithmen, der Datenschutz und die Interpretationsgenauigkeit sowie weitere Unterfragen aufgeschlüsselt und so der Weg für eine umfassende Antwort geebnet.

2,WebSearcher: Der Zeiger für die Informationsgewinnung

WebSearcher ist der Pionier des Information Mining. Es verfolgt eine Grob-zu-Fein-Strategie, bei der zunächst Schlüsselwörter optimiert werden, um die Präzision zu verbessern, massive Suchinhalte aggregiert werden, um Redundanzen zu beseitigen, Schlüsselseiten genau gescreent werden und dann eine Zusammenfassung und Verfeinerung in der Tiefe erfolgt. Mithilfe von Sprachmodellen verstehen und integrieren wir fragmentierte Informationen und verwandeln sie in logische und kohärente Wissensmodule. Nehmen wir das Beispiel "Durchbrüche in der Batterietechnologie für neue Energiefahrzeuge": Aus den Berichten wissenschaftlicher Forschungsinstitute, Branchennachrichten, offiziellen Websites von Unternehmen usw. lassen sich schnell die wichtigsten Informationen herausfiltern und übersichtlich darstellen, z. B. die verbesserte Energiedichte von Batterien und schnellere Ladegeschwindigkeiten.

Funktionelle Merkmale

1、Die Extraktion von Tiefenwissen

MindSearch gräbt sich tief in eine Vielzahl von Webseiten ein, um den Nutzern fundiertes Wissen zu vermitteln. Ob es darum geht, die Geheimnisse antiker Zivilisationen zu erforschen oder die neuesten technologischen Entwicklungen zu verfolgen, es kann die riesige Menge an Online-Ressourcen sortieren. Wenn Sie z. B. "Fortschritte in der Erforschung der kosmischen dunklen Materie" abfragen, erhalten Sie nicht nur grundlegende Konzepte, sondern auch eine Zusammenfassung der neuesten Beobachtungsdaten, theoretischen Modelle und Meilensteine globaler Forschungsteams, die den Nutzern hilft, ein systematisches Wissenssystem aufzubauen.

2、Suchpfadtransparenz

Anders als herkömmliche Suchmaschinen zeigt MindSearch dem Nutzer den Denkweg, die Suchbegriffe und den Prozess der Informationsintegration. Bei der Abfrage "Auslegung von Rechtsvorschriften" können die Nutzer nicht nur die Antwort, sondern auch den Prozess des Screenings und der Integration von Informationen aus Rechtsdatenbanken, Fachforen und Fallstudien kennenlernen, was das Vertrauen stärkt und den Nutzern das eingehende Studium und die Recherche erleichtert, um ihr relevantes Wissen zu verbessern.

3、Multi-Schnittstellen-Anpassung

MindSearch bietet Schnittstellen für React, Gradio, Streamlit und lokales Debugging mit Blick auf unterschiedliche Benutzeranforderungen. Entwickler können verwenden Reagieren Sie Die Gradio-Schnittstelle integriert es in Webanwendungen, während normale Benutzer es bequem über die Gradio- oder Streamlit-Schnittstellen ohne komplexe Programmierung und Umgebungskonfiguration abfragen können, was die Schwelle zur Nutzung senkt und die Benutzererfahrung verbessert.

4. dynamischer Mechanismus zur Erstellung von Karten

Die Funktion zum Aufbau eines dynamischen Graphen kann entsprechend den Benutzeranfragen Unterfrageknoten erzeugen und in Echtzeit auf der Grundlage der Suchergebnisse erweitern. Bei aktuellen Themen wie "Auswirkungen sozialer Medien auf die psychische Gesundheit von Jugendlichen" kann der Suchgraph zeitnah aktualisiert werden, um neue Forschungsergebnisse und Ereignisse zu berücksichtigen und die Richtung flexibel anzupassen, um sicherzustellen, dass die relevantesten und aktuellsten Informationen bereitgestellt werden.

Anwendungsszenario

1、Ein gutes Hilfsmittel für die akademische Forschung

Im akademischen Bereich verkürzt MindSearch die Zeit der Informationssammlung für Forscher erheblich. Wenn beispielsweise Geschichtswissenschaftler den kulturellen Austausch in einer bestimmten historischen Periode untersuchen, kann MindSearch alte Dokumente, archäologische Berichte, akademische Abhandlungen und andere Ressourcen integrieren, um die Kommunikationslinie und wichtige Ereignisse herauszufiltern und den Wissenschaftlern zu helfen, die Schlüsselinformationen schnell zu finden, die Richtung der Forschung zu klären und die Effizienz der Forschung zu verbessern.

2. kreative Inspiration Inspirator

Für Kreative ist MindSearch eine Quelle der Inspiration. Wenn Werbetexter touristische Texte verfassen, können sie nach Materialien wie besonderen Speisen, Nischenattraktionen und Volksbräuchen des Reiseziels suchen und diese dann in faszinierende Texte integrieren und verarbeiten. Bei der Erstellung von Science-Fiction-Drehbüchern können Film- und Fernsehautoren neuartige Science-Fiction-Konzepte, Zukunftsszenarien und andere inspirierende Materialien finden, um ihre kreativen Inhalte zu bereichern.

3. geschäftlicher Entscheidungskompass

Im kommerziellen Bereich können Unternehmen MindSearch nutzen, um Markttrends zu beobachten, die Dynamik der Wettbewerber zu analysieren und Einblicke in die Bedürfnisse der Verbraucher zu gewinnen. Wenn beispielsweise ein Catering-Unternehmen eine neue Produktstrategie entwickelt, kann es nach Informationen über beliebte Zutaten, heiße Gerichte der Wettbewerber und Geschmackspräferenzen der Verbraucher suchen und dann nach einer umfassenden Studie ein neues Produkt auf den Markt bringen, das der Marktnachfrage entspricht und seine Wettbewerbsfähigkeit auf dem Markt verbessert.

Hilfe verwenden

1,Abhängige Installation

Stellen Sie zunächst sicher, dass Sie eine Python-Umgebung auf Ihrem System installiert haben (Python 3.8 und höher wird empfohlen). Wechseln Sie dann auf der Kommandozeile in das Stammverzeichnis Ihres MindSearch-Projekts und führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren:

pip install -r anforderungen.txt

In diesem Schritt werden automatisch die verschiedenen Python-Bibliotheken und -Module heruntergeladen und installiert, die für die Ausführung von MindSearch erforderlich sind, um es für den späteren Start und die Verwendung vorzubereiten.

2,MindSearch API starten

Nachdem die Installation der Abhängigkeiten abgeschlossen ist, können Sie MindSearch API starten. Verwenden Sie den folgenden Befehl, um den FastAPI-Server zu starten:

python -m mindsearch.app --lang de --model_format internlm_server --search_engine DuckDuckGoSearch

Hier können Sie die Parameter an Ihre tatsächlichen Bedürfnisse anpassen:

• `--lang`: wird verwendet, um die Sprache des Modells anzugeben, z.B. `en` bedeutet Englisch, `cn` bedeutet Chinesisch. Bitte wählen Sie die Sprache entsprechend der von Ihnen erwarteten Eingabesprache und der Sprache der Suchergebnisse.
• `--model_format`: geben Sie das Format des Modells an, z.B. bedeutet `internlm_server` die Verwendung des InternLM2.5 - 7b - chat local server Modells; wenn Sie ein anderes Modell, z.B. GPT4, verwenden wollen, müssen Sie es in `gpt4` ändern und sicherstellen, dass Sie die Zugriffs- und Nutzungsberechtigungen für das entsprechende Modell korrekt konfiguriert haben .
• --search_engine`: wird verwendet, um die Suchmaschine auszuwählen, MindSearch unterstützt eine Vielzahl von Suchmaschinen, wie z.B.

  `DuckDuckGoSearch` (DuckDuckGo Suchmaschine), `BingSearch` (Bing Suchmaschine), `BraveSearch` (Brave Suchmaschine), `GoogleSearch` (Google Serper Suchmaschine), `TencentSearch (Tencent-Suchmaschine), usw. Wenn Sie eine andere Suchmaschine als DuckDuckGo und Tencent wählen, müssen Sie den entsprechenden API-Schlüssel in der Umgebungsvariablen `WEB_SEARCH_API_KEY` setzen; wenn Sie die Tencent-Suchmaschine verwenden, müssen Sie zusätzlich `TENCENT_SEARCH_SECRET_ID` und `TENCENT _SEARCH_SECRET_KEY` SETZEN.

3,MindSearch-Frontend starten

MindSearch bietet eine Vielzahl von Front-End-Oberflächen, aus denen der Benutzer wählen kann. Im Folgenden wird beschrieben, wie die verschiedenen Front-End-Oberflächen gestartet werden:

3.1 Reagieren

1. zunächst müssen Sie den API-Proxy von Vite konfigurieren und dabei die tatsächliche Backend-URL angeben. unter der Annahme, dass der Backend-Server lokal auf Port `8002` von `127.0.0.1` läuft (bitte ändern Sie ihn entsprechend der tatsächlichen Situation), führen Sie den folgenden Befehl aus:

HOST="127.0.0.1"PORT=8002sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

2. stellen Sie sicher, dass Sie Node.js und npm auf Ihrem System installiert haben. für Ubuntu-Systeme können Sie den folgenden Befehl verwenden, um es zu installieren:

sudo apt install nodejs npm

Für Windows müssen Sie die für Ihr System geeignete Version von Node.js von der [offiziellen Node.js-Website](https://nodejs.org/zh-cn/download/prebuilt-installer) herunterladen und installieren.

Gehen Sie in das Verzeichnis `frontend/React` und führen Sie die folgenden Befehle aus, um die Projektabhängigkeiten zu installieren und das React-Frontend zu starten:

cd frontend/Reactnpm-Installationnpm-Start

3.2 Gradio

Starten Sie das Gradio-Frontend, indem Sie den folgenden Befehl in der Kommandozeile ausführen:

python frontend/mindsearch_gradio.py

3.3 Streamlit

Verwenden Sie den folgenden Befehl, um das Streamlit-Frontend zu starten:

streamlit run frontend/mindsearch_streamlit.py

3,lokale Fehlersuche

Wenn Sie lokal debuggen möchten, können Sie den folgenden Befehl verwenden:

python mindsearch/terminal.py

Durch lokales Debugging können Sie den Betrieb von MindSearch in Ihrer lokalen Umgebung leichter überprüfen und optimieren und detaillierte Protokollinformationen einsehen, um mögliche Probleme rechtzeitig zu finden und zu lösen.

Schlussbemerkungen

MindSearch hat mit seiner einzigartigen Technologie, seiner umfangreichen Funktionalität und seinen vielfältigen Anwendungsszenarien eine Innovationswelle im Bereich der Informationsbeschaffung ausgelöst. Sie verbessert die Effizienz und Qualität des Informationszugangs der Nutzer, schafft eine innovative Plattform für Entwickler und fördert die Entwicklung der KI-Suchmaschinentechnologie. MindSearch hat ein großes Potenzial und einen großen Wert in akademischen, kreativen und kommerziellen Bereichen. Wir sind davon überzeugt, dass MindSearch sich auch in Zukunft weiterentwickeln wird und uns dabei helfen wird, das Wissensuniversum effizienter zu erforschen und eine neue Erfahrung der intelligenten Informationsbeschaffung zu machen.