Dify v0.15.0: Nova estratégia de pesquisa pai-filho - Recuperação de conhecimento mais precisa e abrangente

Hoje, temos o prazer de apresentar Dify A versão v0.15.0 traz um novo recurso "Parent-Child Retrieval". Essa é uma técnica avançada implementada no sistema Retrieval Augmented Generation (RAG), que visa aprimorar ainda mais a aquisição de informações e a compreensão contextual.Com esse recurso, a Dify é capaz de fornecer informações mais abrangentes e contextualizadas para a geração de IA, melhorando significativamente a qualidade e a precisão das respostas aos pedidos de LLM.

O dilema do contexto e da precisão

Ao usar um sistema de recuperação de base de conhecimento, os usuários geralmente se deparam com um dilema incômodo: os resultados da pesquisa são muito fragmentados, fazendo com que os LLMs não tenham contexto suficiente para entender as informações, ou muito amplos, resultando em sobrecarga de informações e sacrificando a precisão. Isso dificulta que os LLMs encontrem e usem com eficiência as informações de que precisam.

Nesse contexto, o tamanho correto do bloco é fundamental para que os aplicativos de IA gerem respostas precisas e abrangentes. Como resultado, a Dify traz um novo recurso de recuperação pai-filho que atinge o equilíbrio ideal entre precisão e contexto, melhorando significativamente o desempenho geral e a confiabilidade do processo de recuperação de conhecimento.

Pesquisa pai-filho: equilíbrio entre precisão e contexto

A recuperação pai-filho é obtida com o uso de uma estrutura de duas camadas na forma de dados para o RAG O sistema oferece uma forma mais flexível e eficaz de pesquisa, permitindo uma correspondência precisa e informações contextuais abrangentes. Os mecanismos básicos incluem:

1. Consulta de correspondência de sub-bloco

• A divisão de documentos em unidades menores e focadas de informações (por exemplo, uma frase) é mais precisa ao corresponder às consultas dos usuários.
• Os sub-blocos podem fornecer rapidamente resultados preliminares que são mais relevantes para as necessidades do usuário.

2. os blocos dos pais fornecem contexto

• As partes maiores que contêm sub-blocos correspondentes (por exemplo, parágrafos, seções ou até mesmo documentos inteiros) são tratadas como blocos principais e disponibilizadas para o Modelo de Linguagem Maior (LLM).
• O bloco pai fornece informações contextuais completas para o LLM e evita a perda de detalhes importantes.

Essa abordagem de recuperação hierárquica garante a precisão dos resultados da recuperação e, ao mesmo tempo, preserva o contexto. No caso do suporte ao cliente, por exemplo, a recuperação pai-filho pode fornecer respostas mais detalhadas e contextualizadas globalmente, fazendo referência à documentação detalhada do produto, melhorando assim a precisão e a riqueza de informações do resultado do modelo de linguagem em termos de geração de conteúdo.

Pesquisa genérica VS Pesquisa pai-filho

Conforme mostrado na figura abaixo, no mesmo documento, as informações contextuais fornecidas pelo uso da recuperação pai-filho serão mais abrangentes e poderão manter um alto nível de precisão, o que é muito superior à recuperação genérica tradicional de camada única.

Como usar a pesquisa pai-filho

1. Fonte de dados:Selecione uma fonte de dados e importe documentos para recuperação de conhecimento.
2. fragmentação

• Selecione uma estratégia genérica de fragmentação ou de fragmentação pai-filho e defina parâmetros como o tamanho do bloco, seguido de uma visualização dos resultados da fragmentação.
• Se a fragmentação pai-filho for selecionada, há dois modos disponíveis:
  • Modo de parágrafo: divide o texto em parágrafos com base nos separadores e no comprimento máximo do bloco e trata esses parágrafos como blocos pai. Ideal para documentos com parágrafos claros e relativamente autônomos.
  • Modo de documento inteiro: o documento inteiro como um bloco pai, adequado para cenários que exigem recuperação contextual completa.

Independentemente do modo, o bloco filho será subdividido a partir do bloco pai. Após concluir o método de indexação e as configurações de pesquisa, o usuário pode editar o bloco pai ou o bloco filho. A edição do bloco principal pode ser feita com a opção de regenerar ou não o bloco secundário, enquanto a edição do bloco secundário não afetará o conteúdo do bloco principal, mas poderá ser usada como uma tag personalizada para melhorar a recuperação do bloco principal correspondente. Para obter mais detalhes, consulte 📖 arquivo de ajuda.

Outros destaques da atualização: exibição mais intuitiva de blocos pai-filho

Como uma plataforma com pouco código, a Dify se esforça para facilitar a compreensão e o uso do recurso de pesquisa pai-filho por usuários sem formação técnica. Nesta atualização, fizemos os seguintes aprimoramentos na visualização em blocos:

• Estrutura de blocos mais clara:Cada bloco pai é mostrado como um módulo separado, com blocos filhos marcados em um fundo cinza e rotulados com o número do bloco.
• Informações convenientes ao passar o mouse:Quando o mouse passa sobre um sub-bloco, o sub-bloco é destacado em azul e exibe informações sobre a contagem de palavras.

• Recuperar a visualização do teste:O bloco pai é exibido no lado esquerdo da janela de visualização, e todos os blocos filhos correspondentes são destacados em azul com suas pontuações correspondentes, permitindo que o usuário os veja rapidamente.

Com essa atualização, a função de pesquisa pai-filho da Dify traz resultados de pesquisa mais precisos e abrangentes para os aplicativos LLM, melhorando significativamente a eficiência e a precisão da aquisição de informações, ajudando as empresas e os desenvolvedores a obter um gerenciamento de conhecimento mais eficiente e a criação de valor em fluxos de trabalho inteligentes.