Escuela Superior de Ingeniería AI: 2,8 GAR mixto (igual que 2,9)

Recuperador basado en ventanas de frases RAG metodologías

introducción

El método de Generación Mejorada de Recuperación (RAG) basado en ventanas de frases para recuperadores es una implementación de alto nivel del marco RAG diseñado para mejorar el conocimiento del contexto y la coherencia de las respuestas generadas por IA. El método combina las ventajas de los modelos lingüísticos a gran escala con técnicas eficientes de recuperación de información para ofrecer una solución potente que genere respuestas de alta calidad y ricas en contexto.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/03_Hybrid_RAG

locomotora

Los sistemas convencionales de RAG suelen tener dificultades para mantener la coherencia en un amplio abanico de contextos o para procesar información que abarca varios bloques de texto. Los enfoques de recuperación basados en ventanas de frases abordan esta limitación preservando las relaciones contextuales entre bloques de texto durante el proceso de indexación y utilizando esta información durante la recuperación y la generación.

Detalles metodológicos

Preprocesamiento de documentos y creación de índices vectoriales

1. División de documentos: Divide el documento de entrada en frases.
2. Creación de bloques de texto: Agrupa frases en trozos de texto manejables.
3. incrustaciónCada bloque de texto se procesa a través de un modelo de incrustación para generar una representación vectorial.
4. Índice de la base de datos vectorialPermite almacenar los ID de los bloques de texto, el contenido del texto y los vectores de incrustación en una base de datos vectorial para una búsqueda eficaz de similitudes.
5. Índice de la estructura del documento: Almacena individualmente las relaciones entre bloques de texto, incluidas las referencias entre cada bloque y los k bloques anteriores y posteriores.

Flujo de trabajo de generación de mejoras de recuperación

1. procesamiento de consultasIncrustación de las consultas de los usuarios utilizando el mismo modelo de incrustación que para los bloques de texto.
2. Búsqueda por similitud: Utiliza la incrustación de consultas para encontrar los trozos de texto más relevantes en una base de datos vectorial.
3. ampliación del contexto (informática)Para cada bloque de texto recuperado, el sistema obtiene los k bloques de texto vecinos anteriores y posteriores a partir de la base de datos de estructura de documentos.
4. contextualización: Combina el bloque de texto recuperado y su contexto ampliado con la consulta original.
5. generando: Pasar contextos de extensión y consultas a grandes modelos lingüísticos para generar respuestas.

organigrama

El siguiente diagrama de flujo ilustra el método Retriever RAG basado en ventanas de frases:

Características principales del GAR

• Recuperación eficazRecuperación de información rápida y precisa mediante búsqueda vectorial por similitud.
• sensible al contexto: Preservar la relación entre la estructura del documento y los bloques de texto durante el proceso de indexación.
• Ventana contextual flexible: Admite el redimensionamiento dinámico de la ventana contextual durante la recuperación.
• escalabilidadCapacidad para gestionar grandes colecciones de documentos y diversos tipos de consulta.

Ventajas de este método

1. Mejorar la coherenciaGenerar respuestas más coherentes y precisas desde el punto de vista contextual mediante la inclusión de bloques de texto contiguos.
2. Reducción de las alucinaciones: Reducir la probabilidad de generar contenidos incorrectos o irrelevantes gracias a la información contextual recuperada.
3. Almacenamiento eficienteOptimiza el espacio de almacenamiento almacenando sólo la información necesaria en la base de datos vectorial.
4. Ventana contextual ajustable: Cambia dinámicamente el tamaño de la ventana contextual en función de los distintos requisitos de consulta o aplicación.
5. Conservar la estructura del documento: Preservar la estructura original y el flujo de información del documento, haciendo que la generación sea semánticamente más comprensible.

llegar a un veredicto

El enfoque Retriever RAG basado en ventanas de frases ofrece una potente solución para mejorar la calidad y la relevancia contextual de las respuestas generadas por IA. Al preservar la estructura del documento y admitir extensiones de contexto flexibles, el enfoque aborda las limitaciones clave de los sistemas RAG tradicionales y proporciona un marco fiable para construir sistemas avanzados de preguntas y respuestas, análisis de documentos y aplicaciones de generación de contenidos.