Deep Finder: projeto de código aberto para pesquisa de inferência profunda usando conhecimento local

Introdução geral

O Deep Searcher é uma ferramenta avançada que combina grandes modelos de linguagem (LLMs) e bancos de dados vetoriais, projetados para pesquisar, avaliar e raciocinar com base em dados privados, fornecendo respostas altamente precisas e relatórios abrangentes. Ele é adequado para gerenciamento de conhecimento empresarial, sistemas inteligentes de perguntas e respostas e cenários de recuperação de informações. DeepSeek e OpenAI, e maximiza o uso de dados internos, garantindo a segurança dos dados. Ele também oferece suporte ao gerenciamento de banco de dados vetorial, como o Milvus, que permite o particionamento de dados para uma recuperação mais eficiente.

Lista de funções

• Pesquisa de dados privadosMaximizar o uso de dados na empresa e garantir a segurança dos dados.
• Gerenciamento de banco de dados vetorialSuporte para bancos de dados vetoriais, como o Milvus, que permite o particionamento de dados para uma recuperação mais eficiente.
• Opções flexíveis de incorporaçãoCompatível com vários modelos incorporados para otimizar a seleção.
• Suporte a modelos em vários idiomasSuporte para grandes modelos, como DeepSeek, OpenAI etc., para geração inteligente de perguntas e respostas e conteúdo.
• Carregador de documentosCarregamento de arquivos locais: há suporte para carregamento de arquivos locais e o rastreamento da Web está sendo desenvolvido.
• Flexibilidade de configuraçãoOs usuários podem personalizar a configuração de acordo com suas necessidades.

Usando a Ajuda

Processo de instalação

1. Visite o repositório GitHub do Deep Searcher.
2. Clonar o repositório para o local:

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. Acesse o catálogo do repositório:

   cd deep-searcher
   

4. Instale a dependência:

   pip install -r requirements.txt
   

5. Configure o banco de dados de vetores (por exemplo, Milvus) e adicione as informações de configuração ao arquivo de configuração do projeto.

Diretrizes para uso

1. Pesquisa de dados privados::
   • Importação de dados internos da empresa para um banco de dados vetorial.
   • Use a função de pesquisa do Deep Searcher para pesquisar dados:

     from deepsearcher import DeepSearcher
     pesquisador = DeepSearcher(config)
     resultados = searcher.search(query)
     

2. Gerenciamento de banco de dados vetorial::
   • Configurar e gerenciar o Milvus ou outros bancos de dados de vetores.
   • Use a interface fornecida pelo Deep Searcher para particionamento e gerenciamento de dados.
3. Opções flexíveis de incorporação::
   • Selecione o modelo de incorporação adequado com base nos requisitos comerciais.
   • Integrar modelos incorporados com o Deep Searcher para otimizar a pesquisa.
4. Integração de conteúdo on-line::
   • Configure fontes de conteúdo on-line e combine-as com dados internos da empresa para fornecer respostas mais abrangentes.
   • Recuperação e integração de conteúdo on-line usando a interface do Deep Searcher.
5. Sistema inteligente de perguntas e respostas (Q&A)::
   • Criação de um sistema inteligente de Q&A baseado em dados corporativos usando o Deep Searcher.
   • Configure a base de conhecimento do sistema de quiz e treine-a e otimize-a.
6. recuperação de informações::
   • Use o Deep Searcher para melhorar a eficiência da recuperação em uma variedade de cenários de recuperação de informações.
   • Personalizar estratégias e algoritmos de recuperação de acordo com as necessidades da empresa.

Código de amostra (computação)

from deepsearcher import DeepSearcher
# Inicialização do Deep Searcher
config = {
'vector_db': 'milvus', 'embedding_model': 'bert', 'embedding_model': 'bert'
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# Pesquisa de dados internos da empresa
query = "Pesquisa de dados corporativos"
resultados = searcher.search(query)
print(results)
# Integrar conteúdo on-line
online_results = searcher.integrate_online_content(query)
print(online_results)