5 días para aprender el planificador de rutas de RAG

RAG sea Recuperación Abreviatura de Retrieval Augmented Generation. Desglosemos esta terminología para entender mejor qué es la RAG:

R -> Recuperar

A -> Mejora

G -> Generar

Básicamente, los grandes modelos lingüísticos (LLM) que utilizamos ahora no se actualizan en tiempo real. Si le hago una pregunta a un LLM (por ejemplo, ChatGPT), puede alucinar y dar una respuesta equivocada. Para contrarrestarlo, entrenamos al LLM con más datos (datos a los que sólo tiene acceso un subconjunto de personas, no datos que estén disponibles públicamente a nivel mundial). A continuación, formulamos preguntas al LLM entrenado con estos datos para que pueda proporcionar información relevante. Si no utilizamos el GAR, puede ocurrir lo siguiente:

• Mayor probabilidad de alucinaciones
• La obsolescencia del LLM
• Menor precisión y veracidad de los hechos

Puede consultar el cuadro que figura a continuación:

RAG es un sistema híbrido que combina las ventajas de un sistema basado en la recuperación con el LLM para generar decisiones más precisas, pertinentes e informativas. Este enfoque utiliza fuentes de conocimiento externas en el proceso de generación, lo que mejora la capacidad del modelo para proporcionar información actualizada y contextualizada. En el diagrama anterior:

• En el primer paso, el usuario realiza una consulta al LLM.
• A continuación, la consulta se envía al
• después
• Los documentos recuperados se envían al Modelo Lingüístico (LLM) junto con la consulta original.
• El generador procesa tanto la consulta como el documento asociado, genera una respuesta y la devuelve al usuario.

Ahora sé que estás totalmente interesado en aprender RAG desde lo básico hasta lo avanzado, así que déjame mostrarte la hoja de ruta perfecta para aprender el sistema RAG en sólo 5 días. Sí, me oíste bien, puedes dominar el sistema RAG en sólo 5 días. Vayamos directo al mapa de aprendizaje:

Día 1: Sentar las bases del GAR

El objetivo principal de la primera jornada es comprender los GAR en su conjunto y explorar sus componentes clave. A continuación se ofrece un desglose de los temas del Día 1:

Resumen RAG.

• Reconocer la función y la importancia del GAR y su lugar en la PNL moderna.
• La idea principal es que la generación aumentada por recuperación (RAG) mejora la eficacia del modelo generado introduciendo información externa.

Componentes clave.

• Aprenda a recuperar y generar por separado.
• Comprender la arquitectura de recuperación (por ejemplo, Dense Paragraph Retrieval (DPR), BM25) y generación (por ejemplo, GPT, BART, T5).

Día 2: Construya su propio sistema de búsqueda

El objetivo principal del Día 2 es implantar con éxito un sistema de recuperación (aunque sea básico). A continuación se desglosan los temas del Día 2:

Una mirada en profundidad a los modelos de recuperación.

• Aprenda la diferencia entre búsquedas densas y dispersas:
• Búsqueda intensiva: DPR, ColBERT.
• Búsqueda dispersa. BM25TF-IDF.
• Explore las ventajas e inconvenientes de cada método.

Realización de la recuperación.

• Utilice bibliotecas como elasticsearch (para búsquedas dispersas) o faiss (para búsquedas densas) para tareas de búsqueda básicas.
• Comprenda cómo recuperar documentos relevantes de la base de conocimientos con el tutorial DPR de Hugging Face.

Base de datos de conocimientos.

• Comprender la estructura de la base de conocimientos.
• Aprenda a preparar los datos para tareas de recuperación como el preprocesamiento de corpus y la indexación de documentos.

Día 3: Puesta a punto del modelo generativo y observación de los resultados

El objetivo de la tercera jornada era afinar el modelo de generación y observar los resultados para comprender el papel de la recuperación en la mejora de la generación. A continuación se desglosan los temas de la tercera jornada:

Una mirada en profundidad al modelado generativo.

• Examinar modelos entrenados como T5, GPT-2 y BART.
• Aprender a afinar el proceso de generación de tareas (por ejemplo, cuestionarios o resúmenes).

Práctica de generación de modelos.

• La aplicación de Hugging Face proporciona Transformador optimizando el modelo en un pequeño conjunto de datos.
• La prueba utiliza un modelo generativo para generar respuestas a las preguntas.

Exploración de la interacción entre recuperación y generación.

• Investigar el modo en que el modelo generativo introduce los datos recuperados.
• Reconocer cómo la recuperación puede mejorar la precisión y la calidad de las respuestas generadas.

Día 4: Implantación de un sistema RAG operativo

Ahora estamos más cerca de nuestro objetivo. El objetivo principal de hoy era implantar un sistema RAG operativo en un conjunto de datos sencillo y familiarizarnos con los parámetros de ajuste. He aquí un desglose de los temas del cuarto día:

Recuperación y generación combinadas:

• Integración de los componentes generados y recuperados en un único sistema.
• Permite la interacción entre la recuperación de resultados y la generación de modelos.

Canalización RAG mediante LlamaIndex:

• Aprenda las características de la tubería RAG a través de la documentación oficial o tutoriales.
• Configure y ejecute un ejemplo utilizando el modelo RAG de LlamaIndex.

Experimentación práctica:

• Empiece a experimentar con distintos parámetros, como el número de documentos recuperados, la estrategia de búsqueda de paquetes generados y el escalado de la temperatura.
• Pruebe a ejecutar el modelo en tareas sencillas que requieran muchos conocimientos.

Día 5: Creación y puesta a punto de un sistema GAR más sólido

El objetivo del último día era crear un modelo GAR más sólido, afinándolo y comprendiendo los distintos tipos de modelos GAR. A continuación se ofrece un desglose de los temas del quinto día:

• Ajuste fino avanzado: Explore cómo optimizar los componentes de generación y recuperación para tareas específicas del dominio.
• Ampliación: Amplíe su sistema GAR con conjuntos de datos más grandes y bases de conocimientos más complejas.
• Optimización del rendimiento: Aprende a maximizar el uso de la memoria y la velocidad de recuperación (por ejemplo, utilizando faiss en la GPU).
• Evaluación: Aprenda a evaluar los modelos RAG en tareas intensivas en conocimiento, utilizando diversas métricas como BLEU, ROUGE, etc. para medir la resolución de problemas.