Dify v1.1.0 Novo filtro inteligente de "Metadados" para a Base de Conhecimento

Na era da explosão de informações, como localizar de forma rápida e precisa as principais informações de dados massivos tornou-se o principal desafio do gerenciamento de conhecimento empresarial e pessoal. Recentemente, a equipe de produtos da Dify lançou a versão 1.1.0 e, de forma inovadora, lançou os "metadados" como o núcleo da função de filtro de conhecimento. Essa atualização é como a instalação de um sistema de navegação inteligente para a base de conhecimento, que pode melhorar significativamente a eficiência e a precisão da recuperação de dados e proporcionar aos usuários uma experiência de acesso a informações mais suave e eficiente.

No passado, ao se depararem com uma enorme base de conhecimento, os usuários muitas vezes procuravam uma agulha em um palheiro, o que dificultava encontrar rapidamente as informações de que precisavam. A introdução da filtragem de metadados mudou essa situação. Os metadados, em resumo, são "dados sobre dados". Eles acrescentam tags e atributos descritivos adicionais aos dados originais, como o criador do documento, a data de criação, palavras-chave etc. Com essas informações estruturadas, os usuários podem encontrar rapidamente as informações de que precisam. Com essas informações estruturadas, os usuários podem definir condições de filtragem específicas de acordo com suas necessidades, de modo a direcionar rapidamente o conteúdo.

Como a filtragem de metadados pode capacitar os aplicativos RAG?

Para dependências RAG A filtragem de metadados é particularmente importante para a aplicação da tecnologia RAG (Retrieval-Augmented Generation). Ela não apenas melhora a precisão da recuperação de informações para aplicativos RAG, mas também desempenha uma função fundamental na segurança dos dados e no controle de acesso. Imagine um cenário empresarial em que diferentes usuários podem precisar acessar informações com diferentes níveis de permissão. Com a filtragem de metadados, os administradores podem gerenciar facilmente as permissões em um nível granular, garantindo que as informações confidenciais estejam disponíveis apenas para usuários autorizados.

Além disso, a filtragem de metadados também otimiza o desempenho da pesquisa e economiza recursos de computação. Com tags de metadados predefinidas, o sistema pode localizar documentos relevantes com mais rapidez e reduzir as pesquisas ineficazes, melhorando assim a eficiência geral. Esse recurso de personalização é, sem dúvida, uma importante ferramenta de aprimoramento da eficiência para empresas com grandes bases de conhecimento.

O diagrama a seguir visualiza os benefícios da filtragem de metadados para o controle de acesso. Ao definir condições de metadados, como privacylevel, uploader e update_date, o sistema pode controlar com precisão os direitos de acesso de diferentes usuários a informações específicas, por exemplo, para roteiros do RAG 2.0.

Em resumo, a filtragem de metadados é como um administrador de conhecimento inteligente, que permite uma recuperação de informações mais inteligente, segura e eficiente ao adicionar atributos contextuais e controle de acesso aos dados. Especialmente em sistemas RAG, a importância da filtragem de metadados é mais proeminente quando a privacidade e a relevância do conhecimento são cruciais.

Como a filtragem de metadados é aplicada na Dify?

existir Dify Na versão 1.1.0, os usuários podem facilmente adicionar e gerenciar metadados para documentos na base de conhecimento e configurar regras de filtragem de metadados para uma recuperação mais precisa do conhecimento.

Etapa 1: Adicionar metadados aos documentos da base de conhecimento

Na interface de gerenciamento da base de conhecimento da Dify, os usuários podem adicionar metadados personalizados para cada documento. O sistema gera automaticamente alguns metadados padrão quando um documento é criado, como nome do arquivo, carregador e data de carregamento, e você pode adicionar manualmente novos campos de metadados e personalizar os nomes dos campos e os tipos de dados, conforme necessário. Além disso, os usuários podem adicionar manualmente novos campos de metadados e personalizar os nomes dos campos e os tipos de dados, conforme necessário. A Dify oferece suporte à edição e modificação em lote de metadados de documentos, facilitando o gerenciamento e a atualização rápida da base de conhecimento pelos usuários. Essa maneira de "marcar" os documentos estabelece a base para a pesquisa e o gerenciamento refinados subsequentes.

Etapa 2: Configure a filtragem de metadados no aplicativo

A Dify v1.1.0 adiciona a seção "Contexto" ao Chatbot, bem como o Chatflow e o Fluxo de trabalho O portal de configuração de filtragem de metadados é fornecido em todos os nós de recuperação de conhecimento. Os usuários podem escolher os modos de filtragem automática ou manual de acordo com suas necessidades reais. No modo automático, o sistema analisa de forma inteligente as consultas do usuário e extrai e gera automaticamente as condições de filtragem. O modo manual permite que os usuários personalizem as condições de filtragem com base nos tipos de campos de metadados (cadeia de caracteres, numérico, tempo) e definam com flexibilidade a relação "E" ou "OU" entre várias condições.

Os três principais tipos de metadados e seus cenários de aplicação

Atualmente, a Dify v1.1.0 suporta três tipos de metadados - string, numérico e de tempo - para atender às necessidades de gerenciamento de conhecimento em diferentes cenários.

• Metadados de string: aprimorando a relevância do contexto de pesquisa

  Por exemplo, quando um usuário pesquisa "relatório de projeto", o sistema pode priorizar o retorno de documentos com tags de metadados, como "Marketing" ou "P&D", filtrando assim uma grande quantidade de informações irrelevantes e melhorando a precisão dos resultados da pesquisa. Isso filtra uma grande quantidade de informações irrelevantes e melhora a precisão dos resultados da pesquisa.

• Metadados numéricos: controle de acesso aprimorado

  O controle de acesso baseado em níveis de permissão pode ser obtido por meio de metadados numéricos. Por exemplo, somente usuários com permissões específicas podem recuperar documentos com um nível de privacidade superior a um limite definido, garantindo a segurança e a conformidade dos dados.

• Metadados temporais: gerenciando versões de documentos com eficiência

  Os metadados temporais ajudam os usuários a distinguir entre versões antigas e novas de um documento. Depois que um documento é atualizado e carregado novamente, os usuários podem recuperar rapidamente a versão mais recente por meio da filtragem temporal. Além disso, em combinação com as informações do carregador, os metadados temporais também permitem que os usuários comparem e analisem diferentes versões históricas do mesmo documento para garantir a consistência no processamento de documentos.

Em geral, o recurso de filtragem de metadados introduzido na Dify v1.1.0 é uma atualização importante para a solução de gerenciamento de base de conhecimento existente. Ele não apenas melhora a eficiência e a precisão da recuperação de informações, mas também oferece um suporte mais forte à segurança de dados e ao controle de acesso. A Dify v1.1.0 é uma atualização digna de nota para empresas e desenvolvedores que desejam criar aplicativos RAG inteligentes. Para saber mais sobre os detalhes, recomendamos que você consulte a Base de Conhecimento oficial da Dify e experimente a conveniência e a eficiência da filtragem de metadados por conta própria.

https://docs.dify.ai/zh-hans/guides/knowledge-base