Интеллектуальная поисковая система, управляемая телом, с системой SimpleQA с точностью до 88,31 TP3T

В области искусственного интеллекта интеллектуальная разработка поисковых систем находится в центре внимания. Недавно команда исследователей в составе Салахеддина Алзуби, Крестона Брукса, Пурвы Чинии, Эдоардо Контенте, Кьяры фон Герлах, Лукаса Ирвина, Ихана Цзяна, Арды Каз, Виндзора Нгуена, Севунг О, Химаншу Тяги и Прамод Вишванат, команда исследователей запустила новую технологию под названиемOpen Deep Search (ODS) фреймворк поисковой системы с открытым исходным кодомкоторая призвана сократить разрыв между закрытыми поисковыми системами с искусственным интеллектом и решениями с открытым исходным кодом.

Инновационное ядро: открытый инструмент поиска и открытый агент рассуждений

Инновационность ODS заключается в том, что она сочетает в себе новейшие открытые модели языка (Large Language Models, LLM) с интеллектуальным интеллектом, позволяющим отвечать на запросы пользователей с помощью инструментов веб-поиска. Фреймворк состоит из двух основных компонентов: Open Search Tool и Open Reasoning Agent.

Открытое средство поиска

Open Search Tool - это продвинутый инструмент для поиска в Интернете, который превосходит существующие поисковые системы с закрытым исходным кодом. Инструмент не только переписывает пользовательские запросы, но и извлекает релевантный контекст из результатов поиска, разбивает и упорядочивает их, чтобы гарантировать, что все релевантные результаты поиска будут включены. Кроме того, Open Search Tool был адаптирован для таких крупных сайтов, как Wikipedia, ArXiv и PubMed, что еще больше повышает точность и полноту результатов поиска.

Рисунок 1. Пользователи могут подключить любой базовый LLM по своему выбору и воспользоваться преимуществами открытого исходного кода Open Deep Search (ODS).ODS состоит из двух компонентов: Open Search Tool и Open Reasoning Agent.Сначала запрос поступает в Open Reasoning Agent, а тот координирует набор доступных инструментов для интерпретации запроса. Интеллект координирует набор доступных инструментов для интерпретации и ответа на запрос. Наиболее важным инструментом является Open Search Tool, который предоставляет высококачественный контекст из множества источников поиска в Сети. В наших экспериментах мы используем Llama3.1-70B и DeepSeek-R1 в качестве базовых моделей.

Открытый агент рассуждений

Open Reasoning Agent - еще один ключевой компонент ODS, отвечающий за интерпретацию пользовательских задач и выполнение запросов путем вызова различных инструментов. Представлены две версии этого интеллекта: версия на основе ReAct (ODS-v1) и версия на основе CodeAct (ODS-v2).

• ODS-v1: Использует фреймворк ReAct, который объединяет рассуждения по цепочке мыслей (CoT) и интеллект ReAct. CoT улучшает рассуждения, побуждая модель думать, прежде чем ответить на вопрос, а ReAct еще больше улучшает выполнение задач и принятие решений, объединяя шаги рассуждений с выполнением действий.ODS-v1 также интегрирует Wolfram Alpha API для обработки сложных математических вычислений.

  Рисунок 2: Схема структуры подсказки ReAct, используемой в ODS-v1.

  Фреймворк ReAct позволяет интегрировать инструменты через стандартизированный интерфейс:

  Thought: [推理跟踪] Action: Tool[参数] Observation: [结果]
  

  В ODS-v1 интеллект ReAct использует подсказки, состоящие из трех вариантов действий: "продолжить.думать" (=continue.think) для декомпозиции сложной проблемы, "искать" (=search internet) для поиска фактической информации с помощью OpenPerplex, и "calculate" (=calculate) для подключения к API Wolfram Alpha для обработки численных расчетов, которые часто сложны для базовых моделей.

• ODS-v2: Используется фреймворк CodeAct, который использует генерацию и выполнение кода для улучшения вывода. CodeAct значительно повышает производительность за счет генерации исполняемого кода Python для вызовов инструментов. ODS-v2 способен решать более сложные задачи и поддерживает совместную работу нескольких инструментов и интеллектов.

  Рисунок 3: Интеллектуалы CodeAct отвечают на многоходовые вопросы в ODS-v2.

Производительность: за пределами решений с закрытым исходным кодом

ODS продемонстрировала отличную производительность на двух популярных эталонах оценки, SimpleQA и FRAMES.

• SimpleQAODS-v1 и ODS-v2 достигают точности 87,71 TP3T и 88,31 TP3T, соответственно, превосходя стандартный поисковый ИИ Perplexity (82,41 TP3T) и Perplexity Sonar Reasoning Pro (85,81 TP3T). По сравнению с поисковым превью GPT-4o от OpenAI, ODS-v2 превосходит FRAMES, а его производительность на SimpleQA практически равна ему.

  Рисунок 4: ODS-v1 определяет правильный ответ путем перекрестной проверки нескольких источников, используя высококачественный контекст, полученный с помощью Open Search Tool.Perplexity Sonar Reasoning Pro не может получить релевантную поисковую информацию.

  

  Рисунок 5: ODS+DeepSeek-R1 правильно различает 21 июля и 20 июля 2022 года как дату, когда Кейтлин Армстронг признала себя невиновной по обвинению в убийстве Мории Уилсон и предстала перед судом. Интеллект ODS перепроверил две противоречивые даты и правильно выбрал 21 июля. И наоборот, Perplexity Pro запутался и дал неверный ответ - 20 июля 2022 года.

• КАДРЫODS-v1+DeepSeek-R1 достигает точности 56,71 TP3T при одном веб-поиске, а ODS-v2+DeepSeek-R1 повышает точность до 75,31 TP3T при нескольких поисках, что значительно превосходит лучший доступный базовый уровень.

  Рисунок 6: ODS-v1+Llama3.1-70B точно вычисляет разницу в возрасте с помощью инструмента Wolfram Calculator, получая правильный ответ.90 В отличие от этого, Perplexity идет по неверному пути рассуждений, сообщая возраст 79 лет.

Открытый исходный код: катализатор инноваций в сообществе

Выпуск ODS не только демонстрирует его мощь в пространстве поискового ИИ, но и предоставляет мощный инструмент для сообщества разработчиков с открытым исходным кодом. Реализация ODS с открытым исходным кодом находится в открытом доступе, исследователи и разработчики могут получить доступ к сайту https://github.com/sentient-agi/OpenDeepSearch来获取相关代码 и использовать его в своих целях. исследователи и разработчики могут получить доступ к сайту и опираться на него для внедрения инноваций и оптимизации.

Перспективы будущего: открытый исходный код - новое направление для поискового ИИ

Появление ODS знаменует собой важную веху в развитии поисковых систем с открытым исходным кодом. Сочетая в себе расширенные возможности рассуждений и высококачественные инструменты веб-поиска, ODS не только превосходит существующие решения с закрытым кодом по производительности, но и закладывает основу для будущих инноваций и развития. По мере роста сообщества разработчиков с открытым исходным кодом и дальнейшего развития технологий ожидается, что ODS возглавит новую эру в области поискового ИИ.

резюме

Запуск Open Deep Search - важный прорыв в истории развития поисковых систем. Он не только демонстрирует огромный потенциал решений с открытым исходным кодом в области ИИ, но и предоставляет мощный и гибкий инструмент для пользователей и исследователей. Ожидается, что с присоединением все большего числа разработчиков к этому проекту с открытым исходным кодом, ODS будет способствовать дальнейшему развитию технологий поискового искусственного интеллекта и предоставит пользователям более интеллектуальный и точный опыт поиска.