L'IA générative et la modélisation du langage (LLM) transforment les industries, mais deux défis majeurs peuvent freiner l'adoption par les entreprises : la désillusion (génération d'informations incorrectes ou dénuées de sens) et la connaissance limitée au-delà de leurs données d'apprentissage. La génération améliorée par la recherche (RAG) et l'ancrage fournissent des solutions en connectant les MFR à des sources de données externes, ce qui leur permet d'accéder à des informations actualisées et de générer des réponses plus authentiques et plus pertinentes.

Cet article explore le moteur RAG de Vertex AI et la manière dont il peut aider les développeurs de logiciels et d'IA à créer des applications d'IA générative robustes et basées sur des faits.

Qu'est-ce que le RAG et pourquoi en avez-vous besoin ?

Le RAG récupère les informations pertinentes de la base de connaissances et les fournit au LLM, ce qui lui permet de générer des réponses plus précises et mieux informées, contrairement au fait de s'appuyer uniquement sur les connaissances pré-entraînées du LLM, qui peuvent être dépassées ou incomplètes. Le RAG est essentiel pour la création d'applications d'IA générative de niveau entreprise qui requièrent les capacités suivantes :

• Précision : Minimisez les hallucinations et veillez à ce que les réponses soient basées sur des faits.
• Mise à jour : Accédez aux dernières données et analyses.
• Expertise dans le domaine : Exploitation d'une base de connaissances spécialisée pour des cas d'utilisation spécifiques.

RAG vs mise à la terre vs recherche

• RAG : Technique permettant de récupérer des informations pertinentes et de les fournir au mécanisme d'apprentissage tout au long de la vie afin de générer une réponse. Ces informations peuvent comprendre des informations récentes, des sujets et un contexte ou une base factuelle.
• Mise à la terre : Garantir la fiabilité et la crédibilité du contenu généré par l'IA en l'ancrant à des sources vérifiées.
• Recherche : Une méthode pour trouver et fournir rapidement des informations pertinentes à partir de sources de données basées sur des requêtes textuelles ou multimodales pilotées par des modèles d'IA avancés.

Présentation du moteur Vertex AI RAG

Le moteur RAG de Vertex AI est un service d'orchestration hébergé qui simplifie le processus complexe de récupération des informations pertinentes et leur mise à disposition des LLM. Les développeurs peuvent ainsi se concentrer sur la création de leurs applications plutôt que sur la gestion de l'infrastructure.

Principaux avantages du moteur Vertex AI RAG :

• Facile à utiliser : Démarrez rapidement avec une API simple pour un prototypage et une expérimentation rapides.
• Accueil Chorégraphie : La gestion de la complexité de la recherche de données et de l'intégration LLM évite aux développeurs d'avoir à gérer l'infrastructure.
• Personnalisation et support open source : Choisissez parmi une variété de modèles d'analyse, de regroupement, d'annotation, d'intégration, de stockage vectoriel et de modèles open source, ou personnalisez vos propres composants.
• Composants Google de haute qualité : Tirez parti de la technologie de pointe de Google pour des performances optimales.
• Flexibilité d'intégration : Connectez-vous à diverses bases de données vectorielles telles que Pinecone et Weaviate, ou utilisez Vertex AI Vector Search.

Vertex AI RAG : une gamme de solutions

Google Cloud propose une gamme de solutions RAG et de mise à la terre pour répondre à différents niveaux de complexité et de personnalisation :

• Vertex AI Search : Un moteur de recherche et une API de récupération entièrement gérés qui conviennent parfaitement aux cas d'utilisation complexes des entreprises qui exigent une qualité élevée, une évolutivité et un contrôle d'accès précis. Il simplifie la connectivité à une variété de sources de données d'entreprise et prend en charge la recherche dans plusieurs sources.
• Totalement DIY RAG : Pour les développeurs à la recherche d'un contrôle total, Vertex AI fournit des API de composants distincts (par exemple, Text Embedding API, Ranking API, Grounding on Vertex AI) pour créer des pipelines RAG personnalisés. Cette approche offre la plus grande flexibilité, mais nécessite un effort de développement important. Utilisez cette approche si vous avez besoin de personnalisations très spécifiques ou si vous souhaitez vous intégrer à un cadre RAG existant.
• Moteur Vertex AI RAG : Il est idéal pour les développeurs qui recherchent un équilibre entre la facilité d'utilisation et la personnalisation. Il permet un prototypage et un développement rapides sans sacrifier la flexibilité.

Cas d'utilisation courants des moteurs RAG dans l'industrie :

1) Services financiers : conseils personnalisés en matière d'investissement et évaluation des risques :

Problème : Les conseillers financiers ont besoin de consolider rapidement de grandes quantités d'informations (y compris les profils des clients, les données de marché, les déclarations réglementaires et les recherches internes) afin de fournir des conseils d'investissement sur mesure et des évaluations précises des risques. L'examen manuel de toutes ces informations prend beaucoup de temps et est source d'erreurs.

Solution RAG Engine : Le moteur RAG ingère et indexe les sources de données pertinentes. Les conseillers financiers peuvent ensuite interroger le système à l'aide d'informations spécifiques au client et d'objectifs d'investissement. Le moteur RAG fournit des réponses concises, fondées sur des preuves, en extrayant des informations des documents pertinents, y compris des citations, pour étayer les recommandations. Cela améliore l'efficacité des conseillers, réduit le risque d'erreur humaine et renforce le niveau de personnalisation des conseils. Le système peut également signaler les conflits d'intérêts potentiels ou les infractions à la réglementation sur la base des informations trouvées dans les données ingérées.

2) Soins de santé : découverte accélérée de médicaments et programmes de traitement personnalisés :

Problème : La découverte de médicaments et la médecine personnalisée reposent largement sur l'analyse de vastes ensembles de données provenant d'essais cliniques, d'articles de recherche, de dossiers de patients et d'informations génétiques. Il est extrêmement difficile de passer ces données au crible pour identifier des cibles médicamenteuses potentielles, prédire la réaction d'un patient à un traitement ou élaborer un plan de traitement personnalisé.

Solution RAG Engine : Avec des mesures de confidentialité et de sécurité appropriées, un moteur RAG peut ingérer et indexer de grandes quantités de littérature biomédicale et de données sur les patients. Les chercheurs peuvent alors poser des questions complexes, telles que "Quels sont les effets secondaires possibles du médicament X chez un patient présentant le génotype Y ?" Le moteur RAG synthétisera les informations pertinentes provenant de diverses sources, fournissant aux chercheurs des informations qui leur auraient échappé lors de leurs recherches manuelles. Pour les cliniciens, le moteur peut aider à générer des plans de traitement personnalisés recommandés, basés sur les caractéristiques uniques et les antécédents médicaux d'un patient, étayés par des recherches pertinentes.

3. juridique : améliorer la diligence raisonnable et l'examen des contrats :

Problème : Les professionnels du droit consacrent beaucoup de temps à l'examen de documents au cours du processus de diligence raisonnable, des négociations contractuelles et des litiges. La recherche des clauses pertinentes, l'identification des risques potentiels et la garantie de la conformité réglementaire prennent beaucoup de temps et nécessitent une expertise approfondie.

Solution RAG Engine : Le RAG Engine ingère et indexe les documents juridiques, la jurisprudence et les informations réglementaires. Les juristes peuvent interroger le système pour trouver des clauses spécifiques dans les contrats, identifier les risques juridiques potentiels et rechercher les précédents pertinents. Le moteur met en évidence les incohérences, les responsabilités potentielles et la jurisprudence pertinente, ce qui accélère considérablement le processus d'examen et améliore la précision. Cela permet d'accélérer la réalisation des transactions, de réduire les risques juridiques et d'utiliser plus efficacement l'expertise juridique.

Démarrer avec le moteur RAG de Vertex AI

Google propose un certain nombre de ressources pour vous aider à démarrer, notamment

• Cahier de démarrage :
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• Documentation : Une documentation complète vous guide dans l'installation et l'utilisation du moteur RAG.
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• Intégration : Exemples avec Vertex AI Vector Search, Vertex AI Function Store, Pinecone et Weaviate
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• Cadre d'évaluation : Apprenez à utiliser le moteur RAG pour évaluer les recherches et procéder à l'ajustement des hyperparamètres :
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

Construire une IA générative basée sur les faits

Le moteur RAG de Vertex AI et une gamme de solutions d'ancrage permettent aux développeurs de créer des applications d'IA générative plus fiables, plus authentiques et plus perspicaces. En tirant parti de ces outils, vous pouvez libérer tout le potentiel du LLM et surmonter les défis de la désillusion et de la connaissance limitée, ouvrant ainsi la voie à une adoption plus large de l'IA générative dans l'entreprise. Choisissez la solution qui répond le mieux à vos besoins et commencez à créer la prochaine génération d'applications intelligentes.