Intelligente körpergesteuerte Suchinferenzmaschine mit SimpleQA bis zu 88,31 TP3T Genauigkeit

Auf dem Gebiet der künstlichen Intelligenz steht die intelligente Entwicklung von Suchmaschinen im Mittelpunkt des Interesses. Vor kurzem hat ein Team aus Salaheddin Alzubi, Creston Brooks, Purva Chiniya, Edoardo Contente, Chiara von Gerlach, Lucas Irwin, Yihan Jiang, Arda Kaz, Windsor Nguyen, Sewoong Oh, Himanshu Tyagi und Pramod Viswanath hat ein Team von Forschern eine neue Technologie namensOpen Deep Search (ODS) Open-Source-Suchmaschinen-Frameworkdas die Lücke zwischen KI-Suchmaschinen mit geschlossenem Quellcode und Open-Source-Lösungen schließen soll.

Innovation Core: Offenes Suchwerkzeug und offener Reasoning Agent

Die Innovation von ODS besteht darin, dass es die neuesten quelloffenen Large Language Models (LLMs) mit schlussfolgernden Intelligenzen kombiniert, die es ihm ermöglichen, Benutzeranfragen mit Hilfe von Websuchwerkzeugen zu beantworten. Das Framework besteht aus zwei Hauptkomponenten: dem Open Search Tool und dem Open Reasoning Agent.

Suchwerkzeug öffnen

Open Search Tool ist ein fortschrittliches Web-Suchwerkzeug, das die bestehenden Closed-Source-Suchmaschinen übertrifft. Das Tool schreibt nicht nur Benutzeranfragen nach Bedarf um, sondern extrahiert auch relevanten Kontext aus den Suchergebnissen und ordnet sie neu an, um sicherzustellen, dass alle relevanten Suchergebnisse enthalten sind. Darüber hinaus wurde das Open Search Tool für wichtige Websites wie Wikipedia, ArXiv und PubMed angepasst, um die Genauigkeit und den Umfang der Suchergebnisse weiter zu verbessern.

Abbildung 1: Die Nutzer haben die Möglichkeit, ein beliebiges LLM ihrer Wahl einzubinden und die Vorteile des Open-Source-Frameworks von Open Deep Search (ODS) zu nutzen.ODS besteht aus zwei Komponenten: dem Open Search Tool und dem Open Reasoning Agent.Die Anfrage wird zunächst in den Open Reasoning Agent eingespeist und die Der Open Reasoning Agent koordiniert eine Reihe von verfügbaren Tools, um die Anfrage zu interpretieren und zu beantworten. Das wichtigste Tool ist das Open Search Tool, das qualitativ hochwertigen Kontext aus verschiedenen Retrieval-Quellen im Web bereitstellt. In unseren Experimenten verwenden wir Llama3.1-70B und DeepSeek-R1 als Basismodelle.

Offener Begründungsagent

Der Open Reasoning Agent ist eine weitere Schlüsselkomponente von ODS, die für die Interpretation von Benutzeraufgaben und die Ausführung von Abfragen durch den Aufruf verschiedener Tools verantwortlich ist. Es werden zwei Versionen dieser Intelligenz angeboten: eine ReAct-basierte Version (ODS-v1) und eine CodeAct-basierte Version (ODS-v2).

• ODS-v1CoT verbessert das Denken, indem es das Modell zum Nachdenken anregt, bevor es eine Frage beantwortet, während ReAct die Aufgabenerledigung und die Entscheidungsfindung weiter verbessert, indem es Denkschritte mit der Ausführung von Aktionen kombiniert.ODS-v1 integriert auch die Wolfram Alpha API für die Verarbeitung komplexer mathematischer Berechnungen.

  

  Abbildung 2: Schematische Darstellung der in ODS-v1 verwendeten ReAct-Prompt-Struktur.

  Das ReAct-Framework ermöglicht die Integration von Tools über eine standardisierte Schnittstelle:

  Thought: [推理跟踪] Action: Tool[参数] Observation: [结果]
  

  In ODS-v1 verwenden die ReAct-Intelligenzen Prompts, die aus drei Aktionsoptionen bestehen: "continue.think" (=weiterdenken) für die Zerlegung komplexer Probleme, "search" (=suchen Internet), um mit OpenPerplex Sachinformationen zu finden, und "calculate" (=rechnen), um eine Verbindung zur Wolfram Alpha API herzustellen, um numerische Berechnungen durchzuführen, die für Basismodelle oft schwierig zu handhaben sind.

• ODS-v2CodeAct verbessert die Leistung erheblich, indem es ausführbaren Python-Code für Tool-Aufrufe generiert. ODS-v2 ist in der Lage, komplexere Aufgaben zu bewältigen und unterstützt die kollaborative Arbeit mehrerer Tools und Intelligenzen.

  

  Abbildung 3: CodeAct-Intelligenzen bei der Beantwortung von Multi-Hop-Fragen in ODS-v2.

Leistung: Jenseits von Closed-Source-Lösungen

ODS zeigte hervorragende Leistungen bei zwei beliebten Evaluierungsbenchmarks, SimpleQA und FRAMES.

• SimpleQAODS-v1 und ODS-v2 erreichen eine Genauigkeit von 87,71 TP3T bzw. 88,31 TP3T und übertreffen damit die Standard-Such-KI von Perplexity (82,41 TP3T) und Perplexity Sonar Reasoning Pro (85,81 TP3T). Im Vergleich zu OpenAIs GPT-4o-Suchvorschau übertrifft ODS-v2 FRAMES, und seine Leistung bei SimpleQA ist fast gleich.

  

  Abbildung 4: ODS-v1 identifiziert die richtige Antwort, indem es mehrere Quellen mit Hilfe von qualitativ hochwertigem Kontext, der von Open Search Tool abgerufen wird, abgleicht.Perplexity Sonar Reasoning Pro kann keine relevanten Suchinformationen abrufen.

  

  Abbildung 5: ODS+DeepSeek-R1 unterscheidet korrekt zwischen dem 21. Juli und dem 20. Juli 2022 als dem Datum, an dem Kaitlin Armstrong auf "nicht schuldig" in Bezug auf die Mordanklage gegen Moriah Wilson plädiert hat und angeklagt wurde. Die ODS-Intelligenzen haben die beiden widersprüchlichen Daten miteinander verglichen und korrekt den 21. Juli ausgewählt. Perplexity Pro hingegen war verwirrt und gab die falsche Antwort: 20. Juli 2022.

• FRAMESODS-v1+DeepSeek-R1 erreicht eine Genauigkeit von 56,71 TP3T mit einer einzigen Websuche, während ODS-v2+DeepSeek-R1 die Genauigkeit auf 75,31 TP3T mit mehreren Suchen verbessert, was die beste verfügbare Basislinie deutlich übertrifft.

  

  Abbildung 6: ODS-v1+Llama3.1-70B berechnet den Altersunterschied mit Hilfe des Wolfram Calculator-Werkzeugs genau, was zu einer korrekten Antwort führt.90 Perplexity hingegen geht den falschen Weg der Argumentation und gibt ein Alter von 79 Jahren an.

Open Source: Katalysator für Innovationen in der Gemeinschaft

Die Veröffentlichung von ODS demonstriert nicht nur seine Stärke im Bereich der KI-Suche, sondern stellt auch ein leistungsfähiges Werkzeug für die Open-Source-Gemeinschaft dar: Die Open-Source-Implementierung von ODS ist öffentlich zugänglich, und Forscher und Entwickler können auf https://github.com/sentient-agi/OpenDeepSearch来获取相关代码 zugreifen und darauf mit innovieren und optimieren.

Zukunftsausblick: Open Source führt neue Richtung für Search AI an

Das Aufkommen von ODS stellt einen wichtigen Meilenstein für Open-Source-Suchmaschinen dar. Durch die Kombination von fortschrittlichen Argumentationsfähigkeiten mit hochwertigen Web-Suchwerkzeugen übertrifft ODS nicht nur bestehende Closed-Source-Lösungen in Bezug auf die Leistung, sondern legt auch den Grundstein für zukünftige Innovationen und Entwicklungen. Da die Open-Source-Gemeinschaft weiter wächst und die Technologie immer weiter voranschreitet, wird ODS voraussichtlich die KI-Suche in eine völlig neue Ära führen.

Zusammenfassungen

Die Einführung von Open Deep Search ist ein wichtiger Durchbruch in der Geschichte der Suchmaschinenentwicklung. Sie zeigt nicht nur das große Potenzial von Open-Source-Lösungen im Bereich der KI, sondern bietet auch ein leistungsstarkes und flexibles Werkzeug für Nutzer und Forscher. Da sich immer mehr Entwickler diesem Open-Source-Projekt anschließen, wird erwartet, dass ODS die weitere Entwicklung der KI-Suchtechnologie vorantreibt und den Nutzern ein intelligenteres und genaueres Sucherlebnis bietet.