生成式 AI 和大语言模型 (LLM) 正在改变各行各业，但两个关键挑战可能会阻碍企业采用：幻觉（生成不正确或无意义的信息）和超出其训练数据的有限知识。检索增强生成 (RAG) 和 grounding 通过将 LLM 连接到外部数据源来提供解决方案，使它们能够访问最新的信息并生成更真实和相关的响应。

本文探讨了 Vertex AI RAG 引擎，以及它如何帮助软件和 AI 开发人员构建稳健、基于事实的生成式 AI 应用程序。

什么是 RAG，为什么需要它？

RAG 从知识库中检索相关信息，并将其提供给 LLM，使其能够生成更准确和知情的响应。这与仅依赖 LLM 的预训练知识形成对比，后者的知识可能过时或不完整。RAG 对于构建需要以下功能的企业级生成式 AI 应用程序至关重要：

• 准确性： 最大程度地减少幻觉，并确保响应以事实为依据。
• 最新信息： 访问最新的数据和见解。
• 领域专业知识： 针对特定用例利用专业的知识库。

RAG vs Grounding vs Search

• RAG： 一种检索相关信息并将其提供给 LLM 以生成响应的技术。这些信息可以包括新鲜信息、主题和上下文或事实依据。
• Grounding： 通过将 AI 生成的内容锚定到经过验证的信息来源，来确保其可靠性和可信度。Grounding 可以使用 RAG 作为一种技术。
• Search： 一种基于文本或由先进 AI 模型驱动的多模态查询，从数据源中快速查找和传递相关信息的方法。

介绍 Vertex AI RAG 引擎

Vertex AI RAG 引擎是一项托管的编排服务，可简化检索相关信息并将其提供给 LLM 的复杂过程。这使开发人员可以专注于构建其应用程序，而不是管理基础设施。

Vertex AI RAG 引擎的主要优点：

• 易于使用： 通过简单的 API 快速入门，实现快速原型设计和实验。
• 托管编排： 处理数据检索和 LLM 集成的复杂性，使开发人员无需管理基础设施。
• 自定义和开源支持： 从各种解析、分块、注释、嵌入、向量存储和开源模型中进行选择，或者自定义您自己的组件。
• 高质量的 Google 组件： 利用 Google 的尖端技术实现最佳性能。
• 集成灵活性： 连接到各种向量数据库，如 Pinecone 和 Weaviate，或使用 Vertex AI 向量搜索。

Vertex AI RAG：一系列解决方案

Google Cloud 提供了一系列 RAG 和 grounding 解决方案，以满足不同级别的复杂性和自定义需求：

• Vertex AI Search： 一种完全托管的搜索引擎和检索器 API，非常适合需要高开箱即用质量、可扩展性和细粒度访问控制的复杂企业用例。它简化了与各种企业数据源的连接，并支持跨多个来源进行搜索。
• 完全 DIY RAG： 对于寻求完全控制的开发人员，Vertex AI 提供单独的组件 API（例如，文本嵌入 API、排名 API、Vertex AI 上的 Grounding）来构建自定义 RAG 管道。这种方法提供了最大的灵活性，但需要大量的开发工作。如果您需要非常具体的自定义或想与现有的 RAG 框架集成，请使用此方法。
• Vertex AI RAG 引擎： 对于在易用性和自定义之间寻求平衡的开发人员来说，这是一个理想的选择。它可以在不牺牲灵活性的情况下实现快速原型设计和开发。

RAG 引擎的常见行业用例：

1.金融服务：个性化投资建议和风险评估：

问题：金融顾问需要快速整合大量信息（包括客户资料、市场数据、监管文件和内部研究），以提供量身定制的投资建议和准确的风险评估。手动审查所有这些信息既耗时又容易出错。

RAG 引擎解决方案：RAG 引擎可以摄取和索引相关数据源。然后，金融顾问可以使用客户的特定资料和投资目标查询系统。RAG 引擎将提供简洁、基于证据的响应，从相关文件中提取信息，包括引文以支持建议。这提高了顾问的效率，降低了人为错误的风险，并增强了建议的个性化程度。该系统还可以根据摄入数据中找到的信息标记潜在的利益冲突或违反法规的行为。

2. 医疗保健：加速药物发现和个性化治疗方案：

问题：药物发现和个性化医疗在很大程度上依赖于对大量临床试验、研究论文、患者记录和基因信息的数据集进行分析。筛选这些数据以识别潜在的药物靶点、预测患者对治疗的反应或生成个性化治疗方案极具挑战性。

RAG 引擎解决方案：在适当的隐私和安全措施下，RAG 引擎可以摄取和索引大量的生物医学文献和患者数据。然后，研究人员可以提出复杂的查询，例如“药物 X 在基因型为 Y 的患者中可能有哪些副作用？”RAG 引擎将综合来自各种来源的相关信息，为研究人员提供他们在手动搜索中可能遗漏的见解。对于临床医生，该引擎可以根据患者的独特特征和病史，并在相关研究的支持下，帮助生成建议的个性化治疗方案。

3. 法律：加强尽职调查和合同审查：

问题：法律专业人员在尽职调查过程、合同谈判和诉讼期间花费大量时间审查文件。查找相关条款、识别潜在风险以及确保符合法规既耗时又需要深厚的专业知识。

RAG 引擎解决方案：RAG 引擎可以摄取和索引法律文件、判例法和监管信息。法律专业人员可以查询系统以查找合同中的特定条款、识别潜在的法律风险并研究相关的先例。该引擎可以突出显示不一致之处、潜在的责任和相关的判例法，从而大大加快审查过程并提高准确性。这有助于加快交易完成速度、降低法律风险并更有效地利用法律专业知识。

Vertex AI RAG 引擎入门

Google 提供了大量资源来帮助您入门，包括：

• 入门 Notebook：
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• 文档： 综合文档指导您完成 RAG 引擎的设置和使用。
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• 集成： 与 Vertex AI 向量搜索、Vertex AI 功能存储、Pinecone 和 Weaviate 的示例
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• 评估框架： 了解如何使用 RAG 引擎评估检索并执行超参数调整：
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

构建基于事实的生成式 AI

Vertex AI 的 RAG 引擎和一系列 grounding 解决方案使开发人员能够构建更可靠、真实和有见地的生成式 AI 应用程序。通过利用这些工具，您可以释放 LLM 的全部潜力，并克服幻觉和知识有限的挑战，从而为生成式 AI 在企业中的更广泛应用铺平道路。选择最适合您需求的解决方案，并开始构建下一代智能应用程序。