MindSearch: estrutura de mecanismo de pesquisa de IA de código aberto para implementar seu próprio mecanismo de pesquisa Perplexity!

Introdução geral

O MindSearch é uma estrutura de mecanismo de busca de IA de código aberto lançada pelo Laboratório de Inteligência Artificial de Xangai (SAL), cujo objetivo é simular o processo de pensamento humano para coleta e integração de informações complexas. A ferramenta combina as tecnologias avançadas de modelagem de linguagem em larga escala (LLM) e mecanismos de busca e, por meio de uma estrutura de corpo de inteligência múltipla, consegue coletar e integrar informações de forma autônoma em centenas de páginas da Web e fornecer respostas abrangentes em um curto período de tempo. Os usuários podem implementar seus próprios mecanismos de pesquisa usando LLM de código fechado (por exemplo, GPT, Claude) ou LLM de código aberto (por exemplo, modelos da série InternLM2.5).

A lógica central é que uma estrutura de corpo multiinteligente é usada para simular processos de pensamento humano, incluindo dois componentes principais: o WebPlanner (camada) e WebSearcher (executor).

• O WebPlanner divide a pergunta de um usuário e cria um gráfico acíclico direcionado (DAG) para orientar a pesquisa;
• O WebSearcher recupera e filtra informações valiosas da Internet para o WebPlanner;
• O WebPlanner acaba apresentando sua conclusão.

Lista de funções

• Estrutura do corpo de inteligência múltiplaInteligência: coleta e integração de informações complexas por meio de várias inteligências trabalhando em conjunto.
• Oferece suporte a vários LLMsCompatível com modelos de idiomas grandes de código fechado e de código aberto, os usuários podem escolher o modelo apropriado de acordo com suas necessidades.
• Várias interfaces de front-endForneça React, Gradio, Streamlit e outras interfaces de front-end para conveniência do usuário.
• Exploração de conhecimento profundoFornece respostas extensas e detalhadas ao navegar por centenas de páginas da Web.
• Caminho de solução transparenteForneça conteúdo completo, como caminhos de pensamento e termos de pesquisa, para aumentar a credibilidade e a usabilidade das respostas.

Princípios técnicos

1. WebPlanner: o centro de planejamento inteligente

O WebPlanner é o cérebro inteligente do MindSearch, que cria tarefas de pesquisa em um gráfico acíclico direcionado (DAG). Após receber o problema do usuário, com a capacidade de geração de código de modelo de linguagem, ele usa funções de código atômico predefinidas para desmontar o problema em nós de subproblema e delinear a estrutura de solução de problemas. Durante o processo de pesquisa, com base no feedback do WebSearcher, o gráfico é ampliado e refinado de forma flexível, e a estratégia é ajustada dinamicamente para levar o sistema a extrair informações com precisão. Por exemplo, diante da pergunta "o status atual e os desafios da aplicação de IA no diagnóstico de imagens médicas", ele desmontará os tipos de imagens médicas, exemplos de aplicação de algoritmos de IA, privacidade de dados e precisão de interpretação e outras subperguntas, abrindo caminho para uma resposta abrangente.

2,WebSearcher: o ponteiro de mineração de informações

O WebSearcher é o pioneiro da mineração de informações. Ele adota uma estratégia de grosso para fino, primeiro otimizando as palavras-chave para melhorar a precisão, agregando conteúdo de pesquisa maciço para eliminar a redundância, selecionando com precisão as principais páginas e, em seguida, resumindo e refinando em profundidade. Com a ajuda de modelos de linguagem, entendemos e integramos informações fragmentadas e as transformamos em módulos de conhecimento lógicos e coerentes. Tomando como exemplo "avanços na tecnologia de baterias de veículos de energia nova", ele pode filtrar rapidamente as principais informações, como densidade de energia de bateria aprimorada e velocidades de carregamento mais rápidas dos relatórios de institutos de pesquisa científica, notícias do setor, sites oficiais de empresas etc., e apresentá-las de forma organizada.

Recursos funcionais

1、Extração de conhecimento profundo

O MindSearch se aprofunda em uma infinidade de páginas da Web para apresentar aos usuários um conhecimento aprofundado. Seja explorando os mistérios de civilizações antigas ou acompanhando desenvolvimentos tecnológicos de ponta, ele pode classificar a vasta quantidade de recursos on-line. Por exemplo, se você consultar "cosmic dark matter research progress" (progresso da pesquisa sobre matéria escura cósmica), ele não apenas fornecerá conceitos básicos, mas também resumirá os dados de observação mais recentes, modelos teóricos e marcos de equipes de pesquisa globais, ajudando os usuários a criar um sistema de conhecimento sistemático.

2、Transparência do caminho de pesquisa

Diferentemente dos mecanismos de pesquisa tradicionais, o MindSearch mostra aos usuários o caminho do pensamento, as palavras-chave de pesquisa e o processo de integração de informações. Quando os usuários consultam "interpretação de disposições legais", além da resposta, eles também podem conhecer o processo de triagem e integração de informações de bancos de dados jurídicos, fóruns profissionais e estudos de caso, o que aumenta a confiança e facilita o estudo e a pesquisa aprofundados dos usuários para aprimorar seus conhecimentos relevantes.

3、Adaptação de várias interfaces

O MindSearch oferece interfaces para React, Gradio, Streamlit e depuração local com diferentes necessidades do usuário em mente. Os desenvolvedores podem usar Reagir A interface Gradio o integra a aplicativos da Web, enquanto usuários comuns podem consultá-lo convenientemente por meio das interfaces Gradio ou Streamlit sem programação complexa e configuração de ambiente, reduzindo o limite de uso e aprimorando a experiência do usuário.

4. mecanismo de construção de mapa dinâmico

A função de construção do gráfico dinâmico pode gerar nós de subperguntas de acordo com as consultas do usuário e expandir em tempo real com base nos resultados da pesquisa. Diante de tópicos importantes, como "o impacto da mídia social na saúde mental do adolescente", o gráfico de pesquisa pode ser atualizado em tempo hábil para levar em conta novas pesquisas e eventos e ajustar a direção de forma flexível para garantir que as informações mais relevantes e atualizadas sejam fornecidas.

cenário do aplicativo

1、Bom ajudante para pesquisas acadêmicas

No campo acadêmico, o MindSearch reduz significativamente o tempo de coleta de informações para os pesquisadores. Por exemplo, se os acadêmicos de história estudam os intercâmbios culturais em um período histórico específico, ele pode integrar documentos antigos, relatórios arqueológicos, artigos acadêmicos e outros recursos para classificar a linhagem de comunicação e os eventos importantes, ajudando os acadêmicos a localizar rapidamente as principais informações, esclarecer a direção da pesquisa e melhorar a eficiência da pesquisa.

2. inspirador de inspiração criativa

Para os criadores, o MindSearch é uma fonte de inspiração. Quando os redatores criam textos sobre turismo, eles podem pesquisar materiais como comidas especiais, atrações de nicho e costumes populares do destino e, em seguida, integrá-los e processá-los em um texto fascinante. Ao criar roteiros de ficção científica, os escritores de cinema e televisão podem obter novos conceitos de ficção científica, cenários futuros e outros materiais inspiradores para enriquecer seu conteúdo criativo.

3. bússola para tomada de decisões de negócios

No campo comercial, as empresas podem usar o MindSearch para monitorar as tendências do mercado, analisar a dinâmica da concorrência e obter informações sobre as necessidades dos consumidores. Por exemplo, quando uma empresa de bufê desenvolve uma nova estratégia de produto, ela pode pesquisar informações sobre ingredientes populares, pratos quentes da concorrência e preferências de gosto dos consumidores e, em seguida, lançar um novo produto que atenda à demanda do mercado e aumente sua competitividade no mercado após um estudo abrangente.

Usando a Ajuda

1,Instalação dependente

Primeiramente, certifique-se de que você tenha um ambiente Python instalado em seu sistema (recomenda-se o Python 3.8 ou superior). Em seguida, vá para o diretório raiz do seu projeto MindSearch na linha de comando e execute o seguinte comando para instalar as dependências necessárias:

pip install -r requirements.txt

Essa etapa faz o download e instala automaticamente as várias bibliotecas e módulos do Python necessários para a execução do MindSearch, preparando-o para o lançamento e uso subsequentes.

2,Iniciar a API do MindSearch

Após a conclusão da instalação da dependência, você pode iniciar a API do MindSearch. Use o seguinte comando para iniciar o servidor FastAPI:

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch

Aqui você pode ajustar os parâmetros para atender às suas necessidades reais:

• `--lang`: usado para especificar o idioma do modelo, por exemplo, `en` significa inglês, `cn` significa chinês. Escolha de acordo com o idioma de entrada esperado e o idioma do resultado da pesquisa.
• `--model_format`: especifica o formato do modelo, por exemplo, `internlm_server` significa usar o modelo de servidor local InternLM2.5 - 7b - chat; se quiser usar outro modelo, por exemplo, GPT4, será necessário alterá-lo para `gpt4` e certificar-se de ter configurado corretamente as permissões de acesso e uso para o modelo correspondente .
• `--search_engine`: usado para selecionar o mecanismo de pesquisa, o MindSearch suporta uma variedade de mecanismos de pesquisa, como

  `DuckDuckGoSearch` (mecanismo de busca DuckDuckGo), `BingSearch` (mecanismo de busca Bing), `BraveSearch` (mecanismo de busca Brave), `GoogleSearch` (mecanismo de busca Google Serper), `TencentSearch ` (mecanismo de busca da Tencent), etc. Se você escolher um mecanismo de pesquisa da Web diferente do DuckDuckGo e da Tencent, precisará definir a chave de API correspondente na variável de ambiente `WEB_SEARCH_API_KEY`; se usar o mecanismo de pesquisa da Tencent, precisará definir adicionalmente `TENCENT_SEARCH_SECRET_ID` e `TENCENT _SEARCH_SECRET_KEY`.

3,Iniciar o front-end do MindSearch

O MindSearch fornece uma variedade de interfaces de front-end para os usuários escolherem e, a seguir, é mostrado como as diferentes interfaces de front-end são iniciadas:

3.1 React

1. primeiro, você precisa configurar o proxy de API do Vite, especificando o URL real do backend. supondo que o servidor de backend esteja sendo executado localmente na porta `8002` de `127.0.0.1` (modifique-o de acordo com a situação real), execute o seguinte comando:

HOST="127.0.0.1"PORT=8002sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

2) Certifique-se de ter o Node.js e o npm instalados em seu sistema. Para sistemas Ubuntu, você pode usar o seguinte comando para instalá-los:

sudo apt install nodejs npm

Para o Windows, é necessário fazer download e instalar a versão apropriada do Node.js para o seu sistema no [site oficial do Node.js] (https://nodejs.org/zh-cn/download/prebuilt-installer).

3) Vá para o diretório `frontend/React` e execute os seguintes comandos para instalar as dependências do projeto e iniciar o front-end do React:

cd frontend/Reactnpm installnpm start

3.2 Gradio

Inicie o front-end do Gradio executando o seguinte comando na linha de comando:

python frontend/mindsearch_gradio.py

3.3 Fluxo iluminado

Use o seguinte comando para iniciar o front-end do Streamlit:

streamlit run frontend/mindsearch_streamlit.py

3,depuração local

Se quiser depurar localmente, você pode usar o seguinte comando:

python mindsearch/terminal.py

Por meio da depuração local, você pode verificar e otimizar mais facilmente a operação do MindSearch em seu ambiente local e visualizar informações detalhadas de registro para encontrar e resolver possíveis problemas a tempo.

observações finais

O MindSearch, com sua tecnologia exclusiva, funcionalidade avançada e vários cenários de aplicação, criou uma onda de inovação no campo da recuperação de informações. Ele melhora a eficiência e a qualidade do acesso às informações dos usuários, cria uma plataforma inovadora para desenvolvedores e promove o desenvolvimento da tecnologia de mecanismos de pesquisa de IA. O MindSearch tem grande potencial e valor nos campos acadêmico, criativo e comercial. Acreditamos que o MindSearch continuará a evoluir no futuro, ajudando-nos a explorar o universo do conhecimento com mais eficiência e a desfrutar de uma nova experiência de recuperação inteligente de informações.