MindSearch: estrutura de mecanismo de pesquisa de IA de código aberto para implementar seu próprio mecanismo de pesquisa Perplexity!

Introdução geral

O MindSearch é uma estrutura de mecanismo de busca de IA de código aberto lançada pelo Laboratório de Inteligência Artificial de Xangai (SAL), cujo objetivo é simular o processo de pensamento humano para coleta e integração de informações complexas. A ferramenta combina as tecnologias avançadas de modelagem de linguagem em larga escala (LLM) e mecanismos de busca e, por meio de uma estrutura de corpo de inteligência múltipla, consegue coletar e integrar informações de forma autônoma em centenas de páginas da Web e fornecer respostas abrangentes em um curto período de tempo. Os usuários podem implementar seus próprios mecanismos de pesquisa usando LLM de código fechado (por exemplo, GPT, Claude) ou LLM de código aberto (por exemplo, modelos da série InternLM2.5).

A lógica central é que uma estrutura de corpo multiinteligente é usada para simular processos de pensamento humano, incluindo dois componentes principais: o WebPlanner (camada) e WebSearcher (executor).

• O WebPlanner divide a pergunta de um usuário e cria um gráfico acíclico direcionado (DAG) para orientar a pesquisa;
• O WebSearcher recupera e filtra informações valiosas da Internet para o WebPlanner;
• O WebPlanner acaba apresentando sua conclusão.

Lista de funções

• Estrutura do corpo de inteligência múltiplaInteligência: coleta e integração de informações complexas por meio de várias inteligências trabalhando em conjunto.
• Oferece suporte a vários LLMsCompatível com modelos de idiomas grandes de código fechado e de código aberto, os usuários podem escolher o modelo apropriado de acordo com suas necessidades.
• Várias interfaces de front-endForneça React, Gradio, Streamlit e outras interfaces de front-end para conveniência do usuário.
• Exploração de conhecimento profundoFornece respostas extensas e detalhadas ao navegar por centenas de páginas da Web.
• Caminho de solução transparenteForneça conteúdo completo, como caminhos de pensamento e termos de pesquisa, para aumentar a credibilidade e a usabilidade das respostas.

Usando a Ajuda

Processo de instalação

1. Instalação dependente::

   git clone https://github.com/InternLM/MindSearch
   cd MindSearch
   pip install -r requirements.txt
   

2. Configuração de variáveis de ambiente: Will.env.exampleRenomeie o arquivo para.enve preencha os valores necessários.

   mv .env.example .env
   # Abra o arquivo .env e adicione sua configuração de chave e modelo
   

3. Iniciar a API do MindSearchIniciar o servidor FastAPI.

   python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch
   

   Descrição do parâmetro:

   • --lang: a linguagem do modelo.enpara o inglês.cnPara chinês.
   • ---model_formatFormato do modelo.internlm_serverpara o servidor local do InternLM 2.5-7b-chat.gpt4para GPT4.
   • --mecanismo_de_pesquisaMecanismo de pesquisa com suporte para DuckDuckGo, Bing, Brave, Google e muito mais.
4. Iniciar o front-end do MindSearchAs seguintes interfaces de front-end estão disponíveis:
   • Reagir::

     cd frontend/React
     npm install
     npm start
     

   • Gradio::

     python frontend/mindsearch_gradio.py
     

   • Fluxo luminoso::

     streamlit run frontend/mindsearch_streamlit.py
     

Processo de uso

1. Perguntas de consultaOs usuários podem inserir perguntas de consulta por meio da interface de front-end, e o MindSearch coletará e integrará informações por meio de uma estrutura de inteligência múltipla.
2. Exibir resultadosMindSearch exibe resultados de pesquisa detalhados para os tópicos Thinking Path, Search Keywords e outras ofertas para aumentar a credibilidade e a usabilidade das respostas.
3. Ajuste do mecanismo de pesquisaOs usuários podem modificar o tipo de mecanismo de pesquisa para atender às suas necessidades, por exemplo, mudando para a API Brave Search:

   BingBrowser(searcher_type='BraveSearch', topk=2, api_key=os.environ.get('BRAVE_API_KEY', 'YOUR BRAVE API'))
   

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>