OpenDeepResearcher: ferramenta automatizada de pesquisa aprofundada para escrever relatórios de pesquisa completos

Introdução geral

O OpenDeepResearcher é uma ferramenta de pesquisa profunda automatizada de código aberto projetada para melhorar a eficiência da pesquisa por meio de técnicas de inteligência artificial. O projeto foi desenvolvido por mshumer e está hospedado no GitHub. O OpenDeepResearcher utiliza uma variedade de serviços e tecnologias, incluindo SERPAPI, Jina e OpenRouter, para realizar pesquisas no Google, extração de conteúdo da Web e análise contextual. Sua principal função é otimizar continuamente as consultas de pesquisa por meio de um loop de pesquisa iterativo até que o sistema tenha certeza de que reuniu todas as informações necessárias. A ferramenta também oferece suporte ao processamento assíncrono, à filtragem iterativa e à tomada de decisões orientada pelo LLM, garantindo que o processo de pesquisa seja eficiente e abrangente.

Lista de funções

• Ciclo de pesquisa iterativoO sistema otimiza a consulta de pesquisa por meio de várias iterações para garantir a coleta abrangente de informações.
• processamento assíncronoPesquisa, extração de páginas da Web, avaliação e extração contextual são realizadas simultaneamente para aumentar a velocidade.
• Filtragem de repetiçãoAgregação e desduplicação de links em cada iteração para evitar o processamento duplicado dos mesmos links.
• Decisões de condução do LLMGeração de novas consultas de pesquisa, determinação da utilidade da página, extração de contexto relevante e geração de relatórios finais usando um grande modelo de linguagem.
• Interface do GradioInterface de usuário: Forneça uma interface de usuário funcional que seja fácil de usar.

Usando a Ajuda

Processo de instalação

1. Clonar ou abrir o laptop: Faça o download do arquivo do notebook ou diretamente em Google Colab Aberto em.
2. Instalar o ninhoasyncioExecute a primeira célula para configurar o ninhoasyncio.
3. Configuração de chaves de APIChave de API: Substitui os valores de espaço reservado no bloco de notas pela chave de API real, incluindo o ABRIRROUTERAPICHAVE, SERPAPIAPIKEY e JINAAPICHAVE.

Etapas de uso

1. Células de notebook em execuçãoExecutar todas as células sequencialmente. O notebook solicita uma consulta/tópico de pesquisa e um número máximo opcional de iterações (o padrão é 10).
2. Consulta inicial e geração de pesquisaO notebook usa o LLM para gerar a consulta de pesquisa inicial.
3. Pesquisa e extração assíncronasExecute pesquisas SERPAPI em paralelo, agregando links exclusivos e processando cada link em paralelo para determinar a utilidade da página e extrair o contexto relevante.
4. Otimização iterativaApós cada rodada, o LLM analisa o contexto da agregação e decide se são necessárias outras consultas de pesquisa.
5. Gerar relatório finalQuando o LLM indica que não é mais necessária uma pesquisa adicional (ou que o limite de iteração foi atingido), é gerado um relatório final com base em todos os contextos coletados.
6. Ver relatório finalRelatório de síntese final: O relatório de síntese final será impresso na saída.

Procedimento de operação detalhado

• Geração de entradas e consultasO usuário insere um tópico de pesquisa e o LLM gera até quatro consultas de pesquisa diferentes.
• Pesquisa e processamento simultâneosCada consulta de pesquisa é enviada ao SERPAPI ao mesmo tempo.
• Remoção de pesoAgregação: agrega e desduplica todos os links recuperados na iteração atual.
• extração contextualProcessamento de cada link para determinar a utilidade da página e extrair o contexto relevante.
• Otimização iterativaAnálise do contexto da agregação e decisão sobre a necessidade de outras consultas de pesquisa.
• Geração do relatório finalGeração de um relatório final consolidado com base em todos os contextos de coleta.