ジェネレーティブAIとビッグ・ランゲージ・モデリング（LLM）は産業界に変革をもたらしつつあるが、2つの重要な課題が企業の採用を妨げている。検索強化型生成 (ラグ)とグラウンディングは、LLMを外部のデータソースに接続することで解決策を提供し、LLMが最新の情報にアクセスし、より信憑性の高い適切な回答を生成できるようにする。

本稿では、Vertex AI RAGエンジンと、ソフトウェアおよびAI開発者が堅牢で事実に基づいた生成AIアプリケーションを構築するのに役立つ方法について説明する。

RAGとは何か、なぜ必要なのか？

RAGは知識ベースから関連情報を検索してLLMに提供し、LLMがより正確で情報に基づいた応答を生成できるようにする。これは、LLMの事前に訓練された知識だけに頼るのとは対照的で、その知識は古かったり不完全であったりする可能性がある。RAGは、以下の機能を必要とするエンタープライズグレードの生成AIアプリケーションを構築するために不可欠である：

• 正確さ： 幻覚を最小限に抑え、事実に基づいた対応を徹底する。
• 更新した： 最新のデータと洞察にアクセス
• ドメインの専門知識： 特定のユースケースに特化した知識ベースの活用。

RAG vs グラウンディング vs サーチ

• RAGだ： 関連情報を検索し、それをLLMに提供して応答を生成する技術。この情報には、新鮮な情報、トピック、文脈や事実関係が含まれる。
• 接地： AIが生成したコンテンツを検証済みのソースに固定することで、その信頼性と信用性を確保する。グラウンディングは、RAGを手法として用いることができる。
• 検索 高度なAIモデルによって駆動されるテキストまたはマルチモーダルなクエリに基づいて、データソースから関連情報を迅速に検索し、配信する方法。

バーテックスAI RAGエンジンの紹介

Vertex AI RAG Engineは、関連情報を取得してLLMが利用できるようにする複雑なプロセスを簡素化するホスト型のオーケストレーション・サービスである。これにより、開発者はインフラストラクチャの管理よりもアプリケーションの構築に集中することができます。

Vertex AI RAGエンジンの主な利点：

• 使いやすい： 迅速なプロトタイピングと実験のためのシンプルなAPIですぐに始められます。
• ホスティング振付： データ検索とLLM統合の複雑さに対処することで、開発者がインフラを管理する必要がなくなる。
• カスタマイズとオープンソースのサポート： パーシング、チャンキング、アノテーション、エンベッディング、ベクターストレージ、オープンソースのモデルから選択するか、独自のコンポーネントをカスタマイズすることができます。
• 高品質のグーグル製コンポーネント： Googleの最先端技術を活用し、最適なパフォーマンスを実現。
• 統合の柔軟性： PineconeやWeaviateなどの様々なベクターデータベースに接続したり、Vertex AI Vector Searchを使用することができます。

バーテックスAI RAG：さまざまなソリューション

Google Cloudは、さまざまな複雑さとカスタマイズのレベルに対応するため、さまざまなRAGおよび接地ソリューションを提供している：

• バーテックスAIサーチ 完全に管理された検索エンジンとリトリーバーAPIは、すぐに使える高い品質、拡張性、きめ細かなアクセス制御を必要とする複雑な企業ユースケースに最適です。さまざまな企業データソースへの接続を簡素化し、複数のソースにまたがる検索をサポートします。
• 完全にDIYのRAG： 完全な制御を求める開発者のために、Vertex AIは、カスタムRAGパイプラインを構築するための個別のコンポーネントAPI（例えば、テキスト埋め込みAPI、ランキングAPI、Vertex AI上の接地）を提供しています。このアプローチは最も柔軟性を提供しますが、かなりの開発労力を必要とします。非常に特殊なカスタマイズが必要な場合や、既存のRAGフレームワークと統合したい場合は、このアプローチを使用してください。
• バーテックスAI RAGエンジン： 使いやすさとカスタマイズのバランスを求める開発者に最適です。柔軟性を犠牲にすることなく、迅速なプロトタイピングと開発が可能です。

RAGエンジンの一般的な使用例：

1.金融サービス：個人に合わせた投資アドバイスとリスク評価：

課題：ファイナンシャル・アドバイザーは、顧客に合った投資アドバイスや正確なリスク評価を提供するために、大量の情報（顧客プロファイル、市場データ、規制当局への届出、内部調査など）を迅速に統合する必要がある。このような情報をすべて手作業で確認するのは時間がかかり、ミスが発生しやすい。

RAGエンジン・ソリューション：RAGエンジンは関連するデータ・ソースを取り込み、インデックスを作成する。ファイナンシャル・アドバイザーは、顧客固有の情報と投資目的を使用してシステムに問い合わせることができます。RAGエンジンは、推奨をサポートするために引用を含む関連文書から情報を抽出し、簡潔で根拠に基づいた回答を提供します。これにより、アドバイザーの効率が向上し、人為的ミスのリスクが軽減され、アドバイスの個別化レベルが向上する。また、インジェストされたデータに含まれる情報に基づいて、潜在的な利益相反や規制違反にフラグを立てることもできる。

2.ヘルスケア：創薬の加速化と個別化治療プログラム：

問題：創薬と個別化医療は、臨床試験、研究論文、患者記録、遺伝子情報などの大規模なデータセットの分析に大きく依存している。潜在的な創薬標的を特定し、治療に対する患者の反応を予測し、個別化された治療計画を立てるために、これらのデータを選別することは非常に困難である。

RAGエンジンのソリューション：適切なプライバシーとセキュリティ対策により、RAGエンジンは大量の生物医学文献や患者データを取り込み、インデックスを作成することができる。研究者は、"遺伝子型Yの患者における薬剤Xの副作用にはどのようなものが考えられるか？"といった複雑なクエリーを行うことができる。RAGエンジンは、様々な情報源から関連する情報を合成し、研究者が手作業で検索する際に見逃していたかもしれない洞察を提供する。臨床医にとっては、このエンジンは、関連研究に裏付けされた患者固有の特徴や病歴に基づいて、推奨されるパーソナライズされた治療計画を生成するのに役立つ。

3.法務：デューデリジェンスと契約の見直しを強化する：

問題：法務担当者は、デューデリジェンスや契約交渉、訴訟において、文書のレビューに多大な時間を費やしている。関連条項の発見、潜在的なリスクの特定、法規制の順守の確認には時間がかかり、深い専門知識が必要とされる。

RAGエンジン・ソリューション：RAGエンジンは、法律文書、判例、規制情報を取り込み、インデックス化します。法律専門家は、システムに照会して契約書の特定の条項を検索し、潜在的な法的リスクを特定し、関連する判例を調査することができます。このエンジンは、矛盾点、潜在的な法的責任、関連する判例をハイライトし、レビュープロセスを大幅にスピードアップし、正確性を向上させます。これにより、取引の完了を早め、法的リスクを低減し、法的専門知識をより効果的に活用することができます。

Vertex AI RAGエンジンの使い方

Googleは、あなたが始めるのに役立つ多くのリソースを提供しています：

• 入門ノート
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• ドキュメンテーション 包括的なドキュメントがRAGエンジンのセットアップと使用をガイドします。
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• 統合だ： バーテックスAIベクトルサーチ、バーテックスAI関数ストア、Pinecone、Weaviateを使用した例
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• 評価の枠組み RAGエンジンを使用して検索を評価し、ハイパーパラメータチューニングを実行する方法を学びます：
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

事実に基づく生成AIの構築

Vertex AIが提供するRAGエンジンと様々な接地ソリューションにより、開発者はより信頼性が高く、本格的で洞察に満ちたジェネレーティブAIアプリケーションを構築することができます。これらのツールを活用することで、LLMの可能性を最大限に引き出し、幻滅や限られた知識という課題を克服し、企業におけるジェネレーティブAIの幅広い採用への道を開くことができます。ニーズに最適なソリューションを選択し、次世代のインテリジェント・アプリケーションの構築を始めましょう。