La IA generativa y el modelado de grandes lenguajes (LLM) están transformando las industrias, pero hay dos retos clave que pueden frenar su adopción por parte de las empresas: la desilusión (generar información incorrecta o sin sentido) y el conocimiento limitado más allá de sus datos de entrenamiento. La generación mejorada por recuperación (RAG) y la conexión a tierra aportan soluciones al conectar a los LLM con fuentes de datos externas, lo que les permite acceder a información actualizada y generar respuestas más auténticas y pertinentes.

Este artículo explora el motor Vertex AI RAG y cómo puede ayudar a los desarrolladores de software e IA a crear aplicaciones de IA generativa sólidas y basadas en hechos.

¿Qué es el GAR y por qué lo necesita?

El RAG recupera información relevante de la base de conocimientos y se la proporciona al LLM, permitiéndole generar respuestas más precisas e informadas. Esto contrasta con la dependencia exclusiva de los conocimientos preentrenados del LLM, que pueden estar obsoletos o incompletos:

• Precisión: Minimizar las alucinaciones y asegurarse de que las respuestas se basan en hechos.
• Actualización: Acceda a los datos y perspectivas más recientes.
• Conocimientos especializados: Aprovechamiento de una base de conocimientos especializada para casos de uso específicos.

RAG vs Puesta a tierra vs Búsqueda

• RAG: Una técnica para recuperar información relevante y proporcionársela al LLM para generar una respuesta. Esta información puede incluir información fresca, temas y contexto o base factual.
• Toma de tierra: Garantizar la fiabilidad de los contenidos generados por la IA vinculándolos a fuentes verificadas.
• Busca: Un método para encontrar y proporcionar rápidamente información relevante a partir de fuentes de datos basadas en consultas de texto o multimodales impulsadas por modelos avanzados de IA.

Presentación del motor Vertex AI RAG

El motor RAG de Vertex AI es un servicio de orquestación alojado que simplifica el complejo proceso de recuperar información relevante y ponerla a disposición de los LLM. Esto permite a los desarrolladores centrarse en crear sus aplicaciones en lugar de gestionar la infraestructura.

Principales ventajas del motor Vertex AI RAG:

• Fácil de usar: Empiece rápidamente con una API sencilla para crear prototipos y experimentar con rapidez.
• Coreografía de acogida: La complejidad de la recuperación de datos y la integración de LLM elimina la necesidad de que los desarrolladores gestionen la infraestructura.
• Personalización y soporte de código abierto: Elija entre una gran variedad de modelos de análisis sintáctico, fragmentación, anotación, incrustación, almacenamiento vectorial y código abierto, o personalice sus propios componentes.
• Componentes Google de alta calidad: Aprovecha la tecnología de vanguardia de Google para obtener un rendimiento óptimo.
• Flexibilidad de integración: Conéctese a varias bases de datos vectoriales, como Pinecone y Weaviate, o utilice la búsqueda vectorial de Vertex AI.

Vertex AI RAG: una gama de soluciones

Google Cloud ofrece una gama de soluciones RAG y de conexión a tierra para satisfacer diferentes niveles de complejidad y personalización:

• Vertex AI Search: Un motor de búsqueda y una API de recuperación totalmente gestionados que resultan ideales para casos de uso empresarial complejos que requieren una alta calidad inmediata, escalabilidad y un control de acceso detallado. Simplifica la conectividad a una variedad de fuentes de datos empresariales y admite la búsqueda en múltiples fuentes.
• Totalmente DIY RAG: Para los desarrolladores que busquen un control total, Vertex AI proporciona API de componentes independientes (por ejemplo, API de incrustación de texto, API de clasificación, conexión a tierra en Vertex AI) para crear canalizaciones RAG personalizadas. Este enfoque ofrece la máxima flexibilidad, pero requiere un esfuerzo de desarrollo considerable. Utilice este enfoque si necesita personalizaciones muy específicas o si desea integrarse con un marco RAG existente.
• Motor Vertex AI RAG: Es ideal para desarrolladores que buscan un equilibrio entre facilidad de uso y personalización. Permite crear prototipos y desarrollar rápidamente sin renunciar a la flexibilidad.

Casos de uso habituales en la industria para los motores RAG:

1. Servicios financieros: asesoramiento personalizado sobre inversiones y evaluación de riesgos:

Problema: Los asesores financieros necesitan consolidar rápidamente grandes cantidades de información (incluidos perfiles de clientes, datos de mercado, registros normativos e investigación interna) para proporcionar asesoramiento de inversión personalizado y evaluaciones de riesgo precisas. Revisar manualmente toda esta información lleva mucho tiempo y es propenso a errores.

Solución del motor RAG: el motor RAG ingiere e indexa las fuentes de datos pertinentes. A continuación, los asesores financieros pueden consultar el sistema utilizando la información específica del cliente y los objetivos de inversión. El motor RAG proporcionará respuestas concisas y basadas en pruebas, extrayendo información de los documentos pertinentes, incluidas las citas, para respaldar las recomendaciones. Esto mejora la eficiencia del asesor, reduce el riesgo de error humano y aumenta el nivel de personalización del asesoramiento. El sistema también puede detectar posibles conflictos de intereses o incumplimientos de la normativa a partir de la información contenida en los datos introducidos.

2. Asistencia sanitaria: descubrimiento acelerado de fármacos y programas de tratamiento personalizado:

Problema: El descubrimiento de fármacos y la medicina personalizada dependen en gran medida del análisis de grandes conjuntos de datos de ensayos clínicos, trabajos de investigación, historiales de pacientes e información genética. Examinar estos datos para identificar posibles dianas farmacológicas, predecir la respuesta de un paciente al tratamiento o generar un plan de tratamiento personalizado es extremadamente difícil.

Solución del motor RAG: con las medidas de privacidad y seguridad adecuadas, un motor RAG puede ingerir e indexar grandes cantidades de literatura biomédica y datos de pacientes. A continuación, los investigadores pueden realizar consultas complejas, como "¿Cuáles son los posibles efectos secundarios del fármaco X en un paciente con genotipo Y?". El motor RAG sintetizará la información pertinente procedente de diversas fuentes y proporcionará a los investigadores información que podrían haber pasado por alto en sus búsquedas manuales. Para los médicos, el motor puede ayudar a generar planes de tratamiento personalizados basados en las características únicas del paciente y su historial médico, con el apoyo de la investigación pertinente.

3. Legal: Mejorar la diligencia debida y la revisión de contratos:

Problema: Los profesionales jurídicos dedican mucho tiempo a revisar documentos durante el proceso de diligencia debida, las negociaciones contractuales y los litigios. Encontrar cláusulas relevantes, identificar riesgos potenciales y garantizar el cumplimiento de la normativa lleva mucho tiempo y requiere profundos conocimientos.

Solución RAG Engine: RAG Engine ingiere e indexa documentos jurídicos, jurisprudencia e información normativa. Los profesionales jurídicos pueden consultar el sistema para encontrar cláusulas específicas en los contratos, identificar posibles riesgos jurídicos e investigar los precedentes pertinentes. El motor destaca las incoherencias, las posibles responsabilidades y la jurisprudencia pertinente, lo que acelera enormemente el proceso de revisión y mejora la precisión. Esto ayuda a acelerar la conclusión de las transacciones, reducir el riesgo jurídico y hacer un uso más eficaz de los conocimientos jurídicos.

Primeros pasos con el motor Vertex AI RAG

Google ofrece una serie de recursos para ayudarte a empezar, entre los que se incluyen:

• Cuaderno de introducción:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• Documentación: Una completa documentación le guiará en la configuración y el uso del motor RAG.
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• Integración: Ejemplos con Vertex AI Vector Search, Vertex AI Function Store, Pinecone y Weaviate
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• Marco de evaluación: Aprenda a utilizar el motor RAG para evaluar búsquedas y realizar el ajuste de hiperparámetros:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

Creación de IA generativa basada en hechos

El motor RAG de Vertex AI y una serie de soluciones de base permiten a los desarrolladores crear aplicaciones de IA generativa más fiables, auténticas y perspicaces. Aprovechando estas herramientas, podrá liberar todo el potencial de LLM y superar los retos de la desilusión y los conocimientos limitados, allanando el camino para una adopción más amplia de la IA generativa en la empresa. Elija la solución que mejor se adapte a sus necesidades y empiece a crear la próxima generación de aplicaciones inteligentes.