Mecanismo de inferência de pesquisa inteligente orientada por corpo com SimpleQA com precisão de até 88,31 TP3T

No campo da Inteligência Artificial, o desenvolvimento inteligente de mecanismos de busca tem sido o centro das atenções. Recentemente, uma equipe formada por Salaheddin Alzubi, Creston Brooks, Purva Chiniya, Edoardo Contente, Chiara von Gerlach, Lucas Irwin, Yihan Jiang, Arda Kaz, Windsor Nguyen, Sewoong Oh, Himanshu Tyagi e Pramod Viswanath, uma equipe de pesquisadores lançou uma nova tecnologia chamadaEstrutura de mecanismo de pesquisa de código aberto do Open Deep Search (ODS)que visa preencher a lacuna entre os mecanismos de pesquisa de IA de código fechado e as soluções de código aberto.

No centro da inovação: Ferramenta de Pesquisa Aberta e Agente de Raciocínio Aberto.

A inovação do ODS é que ele combina os mais recentes LLMs (Large Language Models) de código aberto com inteligências de raciocínio que permitem responder às consultas dos usuários usando ferramentas de pesquisa na Web. A estrutura consiste em dois componentes principais: a ferramenta de pesquisa aberta e o agente de raciocínio aberto.

Ferramenta de pesquisa aberta

O Open Search Tool é uma ferramenta avançada de pesquisa na Web que supera os mecanismos de pesquisa de código fechado existentes. A ferramenta não apenas reescreve as consultas do usuário conforme necessário, mas também extrai o contexto relevante dos resultados de pesquisa e os divide e reordena para garantir que todos os resultados de pesquisa relevantes sejam incluídos. Além disso, a Open Search Tool foi personalizada para os principais sites, como Wikipedia, ArXiv e PubMed, melhorando ainda mais a precisão e a abrangência dos resultados da pesquisa.

Figura 1: Os usuários têm a opção de conectar qualquer LLM de base de sua escolha e aproveitar a estrutura de código aberto do Open Deep Search (ODS). O ODS consiste em dois componentes: a Open Search Tool e o Open Reasoning Agent. A consulta é alimentada primeiro no Open Reasoning Agent e a inteligência coordena um conjunto de ferramentas disponíveis para interpretar e responder à consulta. A ferramenta mais importante é a Open Search Tool, que fornece contexto de alta qualidade de várias fontes de recuperação na Web. Em nossos experimentos, usamos o Llama3.1-70B e o DeepSeek-R1 como modelos básicos.

Agente de raciocínio aberto

O Open Reasoning Agent é outro componente essencial do ODS, responsável por interpretar as tarefas do usuário e concluir as consultas invocando várias ferramentas. Duas versões dessa inteligência são fornecidas: uma versão baseada em ReAct (ODS-v1) e uma versão baseada em CodeAct (ODS-v2).

• ODS-v1CoT aprimora o raciocínio ao incentivar o modelo a pensar antes de responder a uma pergunta, enquanto o ReAct aprimora ainda mais a conclusão da tarefa e a tomada de decisões ao combinar etapas de raciocínio com a execução de ações. Alpha API para lidar com cálculos matemáticos complexos.

  

  Figura 2: Esquema da estrutura do prompt do ReAct usado no ODS-v1.

  A estrutura ReAct permite a integração de ferramentas por meio de uma interface padronizada:

  Thought: [推理跟踪] Action: Tool[参数] Observation: [结果]
  

  No ODS-v1, as inteligências ReAct usam avisos que consistem em três opções de ação: "continue.think" (=continuar.pensar) para decomposição de problemas complexos, "search" (=pesquisar internet) para encontrar informações factuais usando o OpenPerplex e "calculate" (=calculate) para se conectar à API Wolfram Alpha para lidar com cálculos numéricos que muitas vezes são difíceis de serem manipulados pelos modelos básicos.

• ODS-v2O ODS-v2 é capaz de lidar com tarefas mais complexas e oferece suporte ao trabalho colaborativo de várias ferramentas e inteligências.

  

  Figura 3: Inteligências do CodeAct respondendo a perguntas multihop no ODS-v2.

Desempenho: além das soluções de código fechado

O ODS demonstrou excelente desempenho em dois benchmarks de avaliação populares, SimpleQA e FRAMES.

• SimpleQAODS-v1 e ODS-v2 alcançam uma precisão de 87,71 TP3T e 88,31 TP3T, respectivamente, superando o desempenho da IA de pesquisa padrão do Perplexity (82,41 TP3T) e do Perplexity Sonar Reasoning Pro (85,81 TP3T). Em comparação com o GPT-4o Search Preview da OpenAI, o ODS-v2 supera-o no FRAMES, e seu desempenho no SimpleQA é quase igual a ele.

  

  Figura 4: O ODS-v1 identifica a resposta correta por meio da verificação cruzada de várias fontes usando o contexto de alta qualidade recuperado pela Open Search Tool.Perplexidade O Sonar Reasoning Pro não consegue recuperar informações de pesquisa relevantes.

  

  Figura 5: O ODS+DeepSeek-R1 distingue corretamente entre 21 de julho e 20 de julho de 2022 como a data em que Kaitlin Armstrong se declarou inocente da acusação de homicídio contra Moriah Wilson e foi acusada. As inteligências do ODS fizeram uma verificação cruzada das duas datas conflitantes e selecionaram corretamente 21 de julho. Por outro lado, o Perplexity Pro ficou confuso e deu a resposta errada de 20 de julho de 2022.

• QUADROSODS-v1+DeepSeek-R1 alcança uma precisão de 56,71 TP3T com uma única pesquisa na Web, enquanto o ODS-v2+DeepSeek-R1 melhora a precisão para 75,31 TP3T com várias pesquisas, o que supera significativamente a melhor linha de base disponível.

  

  Figura 6: O ODS-v1+Llama3.1-70B calcula com precisão a diferença de idade usando a ferramenta Wolfram Calculator, resultando na resposta correta.90 Por outro lado, o Perplexity segue o caminho errado de raciocínio, informando uma idade de 79 anos.

Código aberto: catalisando a inovação da comunidade

O lançamento do ODS não apenas demonstra seu poder no espaço de IA de pesquisa, mas também fornece uma ferramenta poderosa para a comunidade de código aberto. A implementação de código aberto do ODS está disponível publicamente, e os pesquisadores e desenvolvedores podem acessar https://github.com/sentient-agi/OpenDeepSearch来获取相关代码 e desenvolvê-lo para inovar e otimizar.

Perspectivas para o futuro: o código aberto lidera uma nova direção para a IA de pesquisa

O surgimento do ODS representa um marco importante para os mecanismos de pesquisa de código aberto. Ao combinar recursos avançados de raciocínio com ferramentas de pesquisa na Web de alta qualidade, o ODS não apenas supera as soluções de código fechado existentes em termos de desempenho, mas também estabelece as bases para inovação e desenvolvimento futuros. Como a comunidade de código aberto continua a crescer e a tecnologia continua a avançar, espera-se que o ODS conduza o espaço de IA de pesquisa para uma era totalmente nova.

resumos

O lançamento do Open Deep Search é um avanço importante na história do desenvolvimento de mecanismos de busca. Ele não apenas demonstra o grande potencial das soluções de código aberto no campo da IA, mas também oferece uma ferramenta avançada e flexível para usuários e pesquisadores. Com a adesão de um número cada vez maior de desenvolvedores a esse projeto de código aberto, espera-se que o ODS impulsione o desenvolvimento da tecnologia de IA de pesquisa e ofereça aos usuários uma experiência de pesquisa mais inteligente e precisa.