RIG (Retrieval Interleaved Generation): estrategia de recuperación que consiste en escribir mientras se busca, adecuada para consultar datos en tiempo real.

Núcleo tecnológico: Retrieval Interleaved Generation (RIG)

• ¿Qué es RIG?
  RIG es una metodología generativa innovadora diseñada para abordar el problema de la alucinación en el tratamiento de datos estadísticos por grandes modelos lingüísticos. Mientras que los modelos tradicionales pueden generar cifras o hechos inexactos de la nada, RIG garantiza la autenticidad de los datos insertando consultas a fuentes de datos externas en el proceso de generación.
• Principio de funcionamiento ::
  • Cuando el modelo recibe una pregunta que requiere estadísticas, llama dinámicamente a Data Commons (una base de conocimientos de datos públicos impulsada por Google) mientras genera la respuesta.
  • Los resultados de la consulta se incrustan en la salida en lenguaje natural, por ejemplo:[DC("¿Cuál es la población de Francia?") --> "67 millones"].
  • Esta "intercalación de recuperación y generación" permite al modelo mantener la fluidez lingüística al tiempo que proporciona información estadística validada.

Detalles del modelo

• modelo básico Gemma 2 (versión con 27 parámetros B), un modelo lingüístico eficaz de código abierto diseñado para la investigación y la experimentación.
• Objetivos de ajuste : Específicamente entrenados para reconocer cuándo es necesario consultar Data Commons e integrar sin problemas estos datos en el proceso de generación.
• Entradas y salidas ::
  • Entrada: Cualquier mensaje de texto (como una pregunta o un enunciado).
  • Salida: texto en inglés, puede contener resultados de consulta de Data Commons incrustados.
• multilingüismo : Se admite principalmente el inglés ("it" puede significar "instruction-tuned", es decir, versión adaptada a las instrucciones, pero la página no especifica el intervalo de idiomas).

escenario de aplicación

• usuario objetivo investigadores académicos, científicos de datos.
• utilice : Adecuado para escenarios en los que se requieren estadísticas precisas, por ejemplo, respuestas a "la población de un país", "las emisiones mundiales de CO2 en un año determinado", etc.
• restricción Actualmente se trata de una versión temprana y restringida a probadores de confianza, no recomendada para entornos de producción o uso comercial.

Modelos:https://huggingface.co/google/datagemma-rig-27b-it

Texto original:https://arxiv.org/abs/2409.13741

Proceso de realización del RIG

RIG es un enfoque que intercala la recuperación con la generación, con el objetivo de mejorar la precisión de los resultados generados haciendo que LLM genere consultas en lenguaje natural para recuperar datos de Data Commons. A continuación se detallan los pasos de implementación de RIG:

1. Ajuste del modelo (Model Fine-tuning)

objetivosPara que LLM aprenda a generar consultas en lenguaje natural que puedan utilizarse para recuperar estadísticas de Data Commons.

mover::

• Consulta inicial y generaciónCuando LLM recibe una consulta estadística, suele generar un texto que contiene una respuesta numérica. Nos referiremos a esta respuesta numérica comoValores estadísticos generados por LLM (LLM-SV)Por ejemplo, para la consulta "¿Cuál es la población total de California? Por ejemplo, para la consulta "¿Cuál es la población total de California?" LLM podría generar "La población total de California es de unos 39 millones".
• Identificación de los datos pertinentesA partir del texto generado por el LLM, necesitamos identificar los datos más relevantes de la base de datos Data Commons para ponerlos a disposición de los usuarios como mecanismo de comprobación de hechos. Denominamos a este valor recuperadoValores estadísticos de Data Commons (DC-SV).
• Generar consultas en lenguaje naturalPara conseguirlo, afinamos LLM para que genere una consulta en lenguaje natural que describa LLM-SV junto con LLM-SV. Esta consulta se utilizará para recuperar datos de Data Commons.

  
  Figura 1: Comparación de las respuestas a las consultas; Gemma de referencia (Gemma 7B IT, Gemma 2 27B IT) sin interfaz con Data Commons, y respuestas Retrieve Interleaved Generation (RIG).

  Figura 1El modelo RIG no sólo genera los valores estadísticos, sino también las consultas utilizadas para la recuperación.

• Conjunto de datos de formaciónEl modelo base: utilizamos un conjunto de datos comando-respuesta que contiene unas 700 consultas de usuarios para el ajuste fino. Para cada consulta, seleccionamos respuestas generadas por el modelo base que contiene datos estadísticos (unos 400 ejemplos) y utilizamos un LLM más potente (por ejemplo, Gemini 1.5 Pro) para generar llamadas a Data Commons en lenguaje natural.

  ejemplo típico::

  • consultar (un documento, etc.)Dígame una estadística sobre California, San Francisco, Alabama y Estados Unidos.
  • respuesta bruta::
    • California ocupa el primer puesto como estado más poblado del país, con unos 39 millones de habitantes en 2020.
    • En San Francisco, la tasa de diabetes es de 9,2 casos por cada 10000 habitantes.
    • ...
  • Respuesta ajustada::
    • California es el primer estado más poblado del país, con cerca de [...DC("¿cuál era la población de California en 2020?") --> "39 millones"] de personas.
    • En San Francisco, la tasa de diabetes es del [DC("¿cuál es la prevalencia de la diabetes en San Francisco?") --> "9,2 casos por cada 10000 personas"].
    • ...

2. Conversión de consultas

objetivosConvierte las consultas en lenguaje natural generadas por LLM en consultas estructuradas para recuperar datos de Data Commons.

mover::

• descomponer una consultaDescomponga la consulta en lenguaje natural en los siguientes componentes:
  • Variables o temas estadísticos:: por ejemplo, "Tasa de desempleo", "Demografía", etc.
  • sitiosPor ejemplo, "California".
  • causalidad:: por ejemplo, "clasificación", "comparación", "tasa de cambio", etc.
• Cartografía e identificaciónAsignar estos componentes a sus ID correspondientes en Data Commons, por ejemplo, utilizando la indexación de búsqueda semántica basada en incrustaciones para identificar variables estadísticas y el reconocimiento de entidades con nombre basado en cadenas para identificar ubicaciones.
• Correspondencia de categorías y plantillasClasifica las consultas en un conjunto fijo de plantillas de consulta en función de los componentes identificados. Ejemplo:
  • Cuántas XX hay en YY（YYY有多少XX）)
  • What is the correlation between XX and YY across ZZ in AA (Cuál es la correlación entre XX e YY a través de ZZ en AA)
  • Qué XX de YY tienen el mayor número de ZZ (YY中哪些XX的ZZ数量最多)
  • Cuáles son las XX más significativas en YY（YYY中最显著的XX是什么 35 cuáles son las XX más significativas en YY 34)

  
  Figura 2: Comparación de los métodos de base, RIG y RAG para generar respuestas con estadísticas. El método de referencia informa directamente de las estadísticas sin aportar pruebas, mientras que RIG y RAG utilizan Data Commons para proporcionar datos fidedignos.

  Figura 2El método RIG genera etiquetas estadísticas intercalándolas con preguntas en lenguaje natural adecuadas para la recuperación en Data Commons.

• Ejecución de consultasLlamada a la API de datos estructurados de Data Commons para recuperar datos basados en plantillas de consulta e ID de variables y ubicaciones.

3. Cumplimiento

objetivosPresentación al usuario de los datos recuperados junto con los valores estadísticos generados por LLM.

mover::

• Presentación de datosPresentación al usuario de las respuestas devueltas por Data Commons junto con las estadísticas generadas por el LLM original. Esto proporciona a los usuarios la oportunidad de comprobar los hechos del LLM.

  
  Figura 3: Herramienta de evaluación RIG. Esta figura muestra capturas de pantalla de las dos fases de evaluación, una al lado de la otra. Hay dos paneles para cada fase. A la izquierda, se muestra al usuario la respuesta completa que se está evaluando (excluida en la imagen anterior para ahorrar espacio). A la derecha, la tarea de evaluación. En la fase 1, el evaluador comprueba rápidamente si hay errores evidentes. En la etapa 2, el evaluador evalúa cada estadística presente en la respuesta.

  Figura 3Demuestra el proceso de utilización de la herramienta de evaluación RIG. El evaluador puede comprobar rápidamente si hay errores evidentes y evaluar cada estadística presente en la respuesta.

• experiencia del usuarioEl usuario puede presentar este nuevo resultado de varias formas, por ejemplo, en paralelo, resaltando las diferencias, con notas a pie de página, acciones de hover, etc., que pueden explorarse como trabajo futuro.

resúmenes

El proceso de implantación del RIG incluye los siguientes pasos clave:

1. Ajuste de modelosPermite que LLM genere consultas en lenguaje natural que describan los valores estadísticos generados por LLM.
2. Conversión de consultasConvertir consultas en lenguaje natural en consultas estructuradas para recuperar datos de Data Commons.
3. Recuperación y presentación de datosRecuperar datos de Data Commons y presentar los datos recuperados al usuario junto con las estadísticas generadas por LLM.

A través de estos pasos, el método RIG combina eficazmente las capacidades generativas de LLM con los recursos de datos de Data Commons, mejorando así la precisión de LLM en el procesamiento de consultas estadísticas.