Dify v0.15.0: Nueva estrategia de búsqueda padre-hijo: recuperación de conocimientos más precisa y completa

Hoy nos complace presentarles Dify La versión v0.15.0 incorpora la nueva función "Parent-Child Retrieval". Se trata de una técnica avanzada implementada en el sistema de Generación Aumentada de Recuperación (RAG), cuyo objetivo es mejorar aún más la adquisición de información y la comprensión contextual.Con esta capacidad, Dify puede proporcionar información más completa y contextualizada para la generación de IA, mejorando significativamente la calidad y precisión de las respuestas a las solicitudes de LLM.

El dilema del contexto y la precisión

Al utilizar un sistema de recuperación de bases de conocimiento, los usuarios se enfrentan a menudo a un difícil dilema: los resultados de la búsqueda están demasiado fragmentados, lo que hace que los LLM carezcan del contexto suficiente para comprender la información, o son demasiado amplios, lo que provoca una sobrecarga de información y sacrifica la precisión. Esto dificulta que los LLM encuentren y utilicen eficazmente la información que necesitan.

En este contexto, el tamaño adecuado de los trozos es fundamental para que las aplicaciones de IA generen respuestas precisas y completas. Como resultado, Dify aporta una nueva función de recuperación padre-hijo que logra el equilibrio ideal entre precisión y contexto, mejorando significativamente el rendimiento general y la fiabilidad del proceso de recuperación de conocimiento.

Búsqueda entre padres e hijos: equilibrio entre precisión y contexto

La recuperación padre-hijo se consigue utilizando una estructura de dos niveles en forma de datos para el RAG El sistema aporta un modo de búsqueda más flexible y eficaz, que permite tanto una correspondencia precisa como una información contextual exhaustiva. Los mecanismos básicos incluyen:

1. Consulta de coincidencia de subbloques

• Dividir los documentos en unidades de información más pequeñas y específicas (por ejemplo, una frase) es más preciso a la hora de responder a las consultas de los usuarios.
• Los subbloques proporcionan rápidamente los resultados preliminares más pertinentes para las necesidades del usuario.

2. Los bloques parentales proporcionan contexto

• Las partes más grandes que contienen subbloques coincidentes (por ejemplo, párrafos, secciones o incluso documentos enteros) se tratan como bloques padre y se ponen a disposición del Modelo de Lenguaje Mayor (LLM).
• El bloque padre proporciona información contextual completa al LLM y evita que se pierdan detalles importantes.

Este enfoque jerárquico de la recuperación garantiza la exactitud de los resultados, preservando al mismo tiempo el contexto. En el caso de la atención al cliente, por ejemplo, la recuperación padre-hijo puede proporcionar respuestas más detalladas y contextualizadas globalmente al hacer referencia a la documentación detallada del producto, mejorando así la precisión y la riqueza informativa de la salida del modelo lingüístico en términos de generación de contenidos.

Búsqueda genérica VS Búsqueda padre-hijo

Como se muestra en la siguiente figura, en el mismo documento, la información contextual proporcionada mediante el uso de la recuperación padre-hijo será más completa y puede mantener un alto nivel de precisión, lo que es muy superior a la recuperación genérica tradicional de una sola capa.

Cómo utilizar la búsqueda padre-hijo

1. Fuente de datos:Seleccione una fuente de datos e importe documentos para la recuperación de conocimientos.
2. fragmentación

• Seleccione una estrategia de fragmentación genérica o de fragmentación padre-hijo y establezca parámetros como el tamaño de los trozos, seguido de una vista previa de los resultados de la fragmentación.
• Si se selecciona la fragmentación padre-hijo, hay dos modos disponibles:
  • Modo Párrafo: Divide el texto en párrafos en función de los separadores y de la longitud máxima del trozo, y trata estos párrafos como trozos principales. Ideal para documentos con párrafos claros y relativamente autónomos.
  • Modo de documento completo: el documento completo como bloque principal, adecuado para escenarios que requieren una recuperación contextual completa.

Independientemente del modo, el bloque hijo se subdividirá del bloque padre. Una vez configurados el método de indexación y la recuperación, el usuario puede editar el bloque padre o el bloque hijo. La edición del bloque padre puede realizarse con la opción de regenerar o no el bloque hijo, mientras que la edición del bloque hijo no afectará al contenido del bloque padre, pero puede utilizarse como etiqueta personalizada para una mejor recuperación del bloque padre correspondiente. Para más detalles, consulte 📖 archivo de ayuda.

Otros aspectos destacados de la actualización: visualización más intuitiva de los bloques padre-hijo.

Como una plataforma de bajo código, Dify se esfuerza por hacer que sea fácil para los usuarios sin conocimientos técnicos para entender y utilizar la función de búsqueda padre-hijo. En esta actualización, hemos hecho las siguientes mejoras a la vista previa fragmentada:

• Estructura de bloques más clara:Cada bloque padre se muestra como un módulo independiente, con los bloques hijos marcados sobre un fondo gris y etiquetados con el número de bloque.
• Cómoda información al pasar el ratón:Cuando el ratón pasa por encima de un subbloque, éste se resalta en azul y muestra información sobre el recuento de palabras.

• Recuperar vista previa de la prueba:El bloque padre aparece en la parte izquierda de la ventana de vista previa, y todos los bloques hijos coincidentes se resaltan en azul con sus puntuaciones correspondientes, lo que permite al usuario verlos de un vistazo.

Con esta actualización, la función de búsqueda padre-hijo de Dify aporta resultados de búsqueda más precisos y completos a las aplicaciones LLM, mejorando significativamente la eficiencia y la precisión de la adquisición de información, ayudando a las empresas y a los desarrolladores a lograr una gestión del conocimiento y una creación de valor más eficientes en los flujos de trabajo inteligentes.