생성 AI와 빅 언어 모델링(LLM)은 산업을 혁신하고 있지만, 두 가지 주요 과제, 즉 환멸(부정확하거나 의미 없는 정보 생성)과 학습 데이터 이상의 제한된 지식이 기업의 도입을 가로막고 있을 수 있습니다. 검색 강화 세대(RAG) 및 접지는 LLM을 외부 데이터 소스에 연결하여 최신 정보에 액세스하고 보다 확실하고 관련성 높은 응답을 생성할 수 있는 솔루션을 제공합니다.

이 백서에서는 소프트웨어 및 AI 개발자가 사실에 기반한 강력한 제너레이티브 AI 애플리케이션을 구축하는 데 도움이 되는 Vertex AI RAG 엔진과 그 활용 방법을 살펴봅니다.

RAG란 무엇이며 왜 필요한가요?

RAG는 지식 기반에서 관련 정보를 검색하여 LLM에 제공함으로써 보다 정확하고 정보에 입각한 응답을 생성할 수 있도록 합니다. 이는 오래되었거나 불완전할 수 있는 LLM의 사전 학습된 지식에만 의존하는 것과는 대조적입니다. RAG는 다음과 같은 기능이 필요한 엔터프라이즈급 생성 AI 애플리케이션을 구축하는 데 매우 중요합니다:

• 정확성: 환상을 최소화하고 사실에 근거한 답변을 제공하세요.
• 업데이트: 최신 데이터와 인사이트에 액세스하세요.
• 도메인 전문성: 특정 사용 사례에 대한 전문 지식 기반을 활용합니다.

RAG 대 접지 대 검색

• RAG: 관련 정보를 검색하여 응답을 생성하기 위해 LLM에 제공하는 기술입니다. 이 정보에는 새로운 정보, 주제, 맥락 또는 사실적 근거가 포함될 수 있습니다.
• 접지: 검증된 소스에 앵커링하여 AI가 생성한 콘텐츠의 신뢰성과 안정성을 확보하세요.Grounding은 RAG를 기술로 사용할 수 있습니다.
• 검색: 고급 AI 모델에 의해 구동되는 텍스트 또는 멀티모달 쿼리를 기반으로 데이터 소스에서 관련 정보를 신속하게 찾아 전달하는 방법입니다.

버텍스 AI RAG 엔진 소개

Vertex AI RAG 엔진은 관련 정보를 검색하고 이를 LLM에 제공하는 복잡한 프로세스를 간소화하는 호스팅 오케스트레이션 서비스입니다. 이를 통해 개발자는 인프라 관리 대신 애플리케이션 구축에 집중할 수 있습니다.

Vertex AI RAG 엔진의 주요 이점:

• 간편한 사용: 빠른 프로토타이핑과 실험을 위한 간단한 API로 빠르게 시작하세요.
• 안무 호스팅: 데이터 검색 및 LLM 통합의 복잡성을 처리하면 개발자가 인프라를 관리할 필요가 없습니다.
• 사용자 지정 및 오픈 소스 지원: 다양한 파싱, 청킹, 주석, 임베딩, 벡터 스토리지 및 오픈 소스 모델 중에서 선택하거나 나만의 구성 요소를 사용자 정의하세요.
• 고품질 Google 컴포넌트: 최적의 성능을 위해 Google의 최첨단 기술을 활용하세요.
• 통합 유연성: Pinecone, Weaviate와 같은 다양한 벡터 데이터베이스에 연결하거나 Vertex AI 벡터 검색을 사용하세요.

Vertex AI RAG: 다양한 솔루션

Google Cloud는 다양한 수준의 복잡성과 맞춤화를 충족하는 다양한 RAG 및 접지 솔루션을 제공합니다:

• 버텍스 AI 검색: 즉시 사용 가능한 높은 품질, 확장성, 세분화된 액세스 제어가 필요한 복잡한 엔터프라이즈 사용 사례에 이상적인 완전 관리형 검색 엔진 및 리트리버 API입니다. 다양한 엔터프라이즈 데이터 소스에 대한 연결을 간소화하고 여러 소스에서 검색을 지원합니다.
• 완전 DIY 헝겊: 완벽한 제어를 원하는 개발자를 위해 Vertex AI는 별도의 구성 요소 API(예: 텍스트 임베딩 API, 랭킹 API, Grounding on Vertex AI)를 제공하여 맞춤형 RAG 파이프라인을 구축할 수 있도록 지원합니다. 이 접근 방식은 유연성이 가장 뛰어나지만 상당한 양의 개발 노력이 필요합니다. 매우 구체적인 사용자 지정이 필요하거나 기존 RAG 프레임워크와 통합하려는 경우 이 접근 방식을 사용하세요.
• 버텍스 AI RAG 엔진: 사용 편의성과 사용자 지정 사이의 균형을 찾는 개발자에게 이상적입니다. 유연성을 희생하지 않고도 신속한 프로토타이핑과 개발이 가능합니다.

RAG 엔진의 일반적인 업계 사용 사례:

1. 금융 서비스: 맞춤형 투자 조언 및 위험 평가:

문제: 재무 설계사는 맞춤형 투자 조언과 정확한 위험 평가를 제공하기 위해 고객 프로필, 시장 데이터, 규제 관련 서류 및 내부 조사 등 방대한 양의 정보를 신속하게 통합해야 합니다. 이 모든 정보를 수동으로 검토하는 것은 시간이 많이 걸리고 오류가 발생하기 쉽습니다.

RAG 엔진 솔루션: RAG 엔진은 관련 데이터 소스를 수집하고 색인을 생성합니다. 그런 다음 재정 자문가는 고객별 정보와 투자 목표를 사용하여 시스템을 쿼리할 수 있습니다. RAG 엔진은 인용을 포함한 관련 문서에서 정보를 추출하여 추천을 뒷받침하는 간결한 증거 기반 응답을 제공합니다. 이를 통해 어드바이저의 효율성이 향상되고 인적 오류의 위험이 줄어들며 조언의 개인화가 강화됩니다. 또한 이 시스템은 수집된 데이터에서 찾은 정보를 기반으로 잠재적인 이해 상충 또는 규정 위반을 표시할 수 있습니다.

2. 건강 관리: 신약 개발 가속화 및 개인 맞춤형 치료 프로그램:

문제: 신약 개발과 개인 맞춤형 의료는 임상시험, 연구 논문, 환자 기록 및 유전자 정보로 구성된 대규모 데이터 세트의 분석에 크게 의존합니다. 이러한 데이터를 선별하여 잠재적인 약물 표적을 식별하고, 치료에 대한 환자의 반응을 예측하거나, 개인화된 치료 계획을 생성하는 것은 매우 어려운 일입니다.

RAG 엔진 솔루션: 적절한 개인정보 보호 및 보안 조치를 통해 RAG 엔진은 대량의 생물의학 문헌과 환자 데이터를 수집하고 색인화할 수 있습니다. 그런 다음 연구자들은 "유전자형 Y를 가진 환자에게 약물 X의 가능한 부작용은 무엇인가?"와 같은 복잡한 질문을 할 수 있습니다. RAG 엔진은 다양한 소스에서 관련 정보를 종합하여 연구자에게 수동 검색에서 놓쳤을 수 있는 인사이트를 제공합니다. 임상의의 경우, 이 엔진은 관련 연구를 바탕으로 환자의 고유한 특성과 병력을 바탕으로 개인 맞춤형 치료 계획을 추천하는 데 도움을 줄 수 있습니다.

3. 법률: 실사 및 계약 검토를 강화합니다:

문제: 법률 전문가들은 실사 과정, 계약 협상 및 소송 과정에서 문서를 검토하는 데 많은 시간을 할애합니다. 관련 조항을 찾고, 잠재적 위험을 파악하고, 규정을 준수하는 데는 많은 시간이 소요되며 심도 있는 전문 지식이 필요합니다.

RAG 엔진 솔루션: RAG 엔진은 법률 문서, 판례 및 규제 정보를 수집하고 색인화합니다. 법률 전문가는 시스템을 쿼리하여 계약서의 특정 조항을 찾고, 잠재적인 법적 위험을 파악하고, 관련 판례를 조사할 수 있습니다. 이 엔진은 불일치, 잠재적 책임 및 관련 판례를 강조 표시하여 검토 프로세스의 속도를 크게 높이고 정확성을 향상시킵니다. 이를 통해 거래 완료 속도를 높이고, 법적 위험을 줄이며, 법률 전문 지식을 보다 효과적으로 활용할 수 있습니다.

버텍스 AI RAG 엔진 시작하기

Google은 다음과 같이 시작하는 데 도움이 되는 다양한 리소스를 제공합니다:

• 시작하기 노트북:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• 문서화: RAG 엔진의 설정과 사용법을 안내하는 포괄적인 문서가 준비되어 있습니다.
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• 통합: 버텍스 AI 벡터 검색, 버텍스 AI 함수 스토어, 파인콘 및 위비트를 사용한 예시
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• 평가 프레임워크: RAG 엔진을 사용하여 검색을 평가하고 하이퍼파라미터 튜닝을 수행하는 방법을 알아보세요:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

사실 기반 생성 AI 구축

개발자는 Vertex AI의 RAG 엔진과 다양한 접지 솔루션을 통해 보다 안정적이고 신뢰할 수 있으며 인사이트가 풍부한 제너레이티브 AI 애플리케이션을 구축할 수 있습니다. 이러한 도구를 활용하면 LLM의 잠재력을 최대한 활용하고 환멸과 제한된 지식의 문제를 극복하여 기업에서 제너레이티브 AI를 더 폭넓게 채택할 수 있는 기반을 마련할 수 있습니다. 필요에 가장 적합한 솔루션을 선택하고 차세대 지능형 애플리케이션 구축을 시작하세요.