A IA generativa e a modelagem de grandes linguagens (LLM) estão transformando os setores, mas dois desafios importantes podem estar impedindo a adoção pelas empresas: desilusão (geração de informações incorretas ou sem sentido) e conhecimento limitado além dos dados de treinamento. A geração aprimorada por recuperação (RAG) e o aterramento fornecem soluções ao conectar os LLMs a fontes de dados externas, permitindo que eles acessem informações atualizadas e gerem respostas mais autênticas e relevantes.

Este documento explora o mecanismo Vertex AI RAG e como ele pode ajudar os desenvolvedores de software e de IA a criar aplicativos de IA generativa robustos e baseados em fatos.

O que é o RAG e por que você precisa dele?

O RAG recupera informações relevantes da base de conhecimento e as fornece ao LLM, permitindo que ele gere respostas mais precisas e informadas. Isso contrasta com a dependência exclusiva do conhecimento pré-treinado do LLM, que pode estar desatualizado ou incompleto. O RAG é essencial para a criação de aplicativos de IA generativa de nível empresarial que exigem os seguintes recursos:

• Precisão: Minimize as alucinações e garanta que as respostas sejam baseadas em fatos.
• Atualizar: Acesse os dados e insights mais recentes.
• Experiência no domínio: Aproveitamento de uma base de conhecimento especializada para casos de uso específicos.

RAG vs Aterramento vs Busca

• RAG: Uma técnica para recuperar informações relevantes e fornecê-las ao LLM para gerar uma resposta. Essas informações podem incluir informações novas, tópicos e contexto ou base factual.
• Aterramento: Garanta a confiabilidade e a fidedignidade do conteúdo gerado pela IA, ancorando-o em fontes verificadas.
• Pesquisar: Um método para encontrar e fornecer rapidamente informações relevantes de fontes de dados com base em consultas de texto ou multimodais orientadas por modelos avançados de IA.

Apresentando o mecanismo Vertex AI RAG

O Vertex AI RAG Engine é um serviço de orquestração hospedado que simplifica o complexo processo de recuperação de informações relevantes e sua disponibilização aos LLMs. Isso permite que os desenvolvedores se concentrem na criação de seus aplicativos em vez de gerenciar a infraestrutura.

Principais benefícios do mecanismo Vertex AI RAG:

• Fácil de usar: Comece rapidamente com uma API simples para prototipagem e experimentação rápidas.
• Coreografia do anfitrião: Lidar com a complexidade da recuperação de dados e da integração com o LLM elimina a necessidade de os desenvolvedores gerenciarem a infraestrutura.
• Personalização e suporte de código aberto: Escolha entre uma variedade de modelos de análise, fragmentação, anotação, incorporação, armazenamento vetorial e código aberto, ou personalize seus próprios componentes.
• Componentes do Google de alta qualidade: Aproveite a tecnologia de ponta do Google para obter o melhor desempenho.
• Flexibilidade de integração: Conecte-se a vários bancos de dados de vetores, como Pinecone e Weaviate, ou use o Vertex AI Vector Search.

Vertex AI RAG: uma gama de soluções

O Google Cloud oferece uma variedade de soluções de RAG e aterramento para atender a diferentes níveis de complexidade e personalização:

• Pesquisa de IA da Vertex: Um mecanismo de pesquisa totalmente gerenciado e uma API de recuperação que é ideal para casos de uso corporativos complexos que exigem alta qualidade imediata, escalabilidade e controle de acesso refinado. Ele simplifica a conectividade com uma variedade de fontes de dados empresariais e oferece suporte à pesquisa em várias fontes.
• Totalmente DIY RAG: Para os desenvolvedores que buscam controle total, o Vertex AI fornece APIs de componentes separados (por exemplo, API de incorporação de texto, API de classificação, aterramento no Vertex AI) para criar pipelines RAG personalizados. Essa abordagem oferece a maior flexibilidade, mas exige um esforço significativo de desenvolvimento. Use essa abordagem se precisar de personalizações muito específicas ou se quiser se integrar a uma estrutura RAG existente.
• Mecanismo Vertex AI RAG: É ideal para desenvolvedores que buscam um equilíbrio entre facilidade de uso e personalização. Ele permite a prototipagem e o desenvolvimento rápidos sem sacrificar a flexibilidade.

Casos de uso comuns do setor para mecanismos RAG:

1. serviços financeiros: consultoria de investimento personalizada e avaliação de risco:

Problema: os consultores financeiros precisam consolidar rapidamente grandes quantidades de informações (incluindo perfis de clientes, dados de mercado, registros regulatórios e pesquisas internas) para oferecer consultoria de investimento personalizada e avaliações de risco precisas. A revisão manual de todas essas informações consome muito tempo e é propensa a erros.

Solução do mecanismo RAG: O mecanismo RAG ingere e indexa fontes de dados relevantes. Os consultores financeiros podem, então, consultar o sistema usando informações específicas do cliente e objetivos de investimento. O mecanismo RAG fornecerá respostas concisas e baseadas em evidências, extraindo informações de documentos relevantes, inclusive citações, para apoiar as recomendações. Isso melhora a eficiência do consultor, reduz o risco de erro humano e aumenta o nível de personalização da consultoria. O sistema também pode sinalizar possíveis conflitos de interesse ou violações regulatórias com base nas informações encontradas nos dados ingeridos.

2. saúde: descoberta acelerada de medicamentos e programas de tratamento personalizados:

Problema: a descoberta de medicamentos e a medicina personalizada dependem muito da análise de grandes conjuntos de dados de ensaios clínicos, artigos de pesquisa, registros de pacientes e informações genéticas. Examinar esses dados para identificar possíveis alvos de medicamentos, prever a resposta de um paciente ao tratamento ou gerar um plano de tratamento personalizado é extremamente desafiador.

Solução do mecanismo RAG: com medidas adequadas de privacidade e segurança, um mecanismo RAG pode ingerir e indexar grandes quantidades de literatura biomédica e dados de pacientes. Os pesquisadores podem então fazer consultas complexas, como "Quais são os possíveis efeitos colaterais do medicamento X em um paciente com genótipo Y?" O mecanismo RAG sintetizará informações relevantes de diversas fontes, fornecendo aos pesquisadores percepções que podem ter passado despercebidas em suas pesquisas manuais. Para os médicos, o mecanismo pode ajudar a gerar planos de tratamento personalizados recomendados com base nas características exclusivas e no histórico médico de um paciente, com o apoio de pesquisas relevantes.

3. jurídico: aprimorar a due diligence e a revisão de contratos:

Problema: os profissionais do setor jurídico passam muito tempo analisando documentos durante o processo de due diligence, negociações de contratos e litígios. Encontrar cláusulas relevantes, identificar riscos potenciais e garantir a conformidade com as normas consome muito tempo e exige um profundo conhecimento especializado.

Solução RAG Engine: O RAG Engine ingere e indexa documentos jurídicos, jurisprudência e informações regulatórias. Os profissionais da área jurídica podem consultar o sistema para encontrar cláusulas específicas em contratos, identificar possíveis riscos jurídicos e pesquisar precedentes relevantes. O mecanismo destaca inconsistências, possíveis responsabilidades e jurisprudência relevante, o que acelera muito o processo de revisão e melhora a precisão. Isso ajuda a acelerar a conclusão das transações, reduzir o risco jurídico e fazer uso mais eficaz do conhecimento jurídico.

Primeiros passos com o mecanismo Vertex AI RAG

O Google oferece uma série de recursos para ajudá-lo a começar, incluindo:

• Caderno de introdução:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb
• Documentação: Uma documentação abrangente o orienta na configuração e no uso do mecanismo RAG.
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview
• Integração: Exemplos com Vertex AI Vector Search, Vertex AI Function Store, Pinecone e Weaviate
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb
• Estrutura de avaliação: Saiba como usar o mecanismo RAG para avaliar pesquisas e realizar o ajuste de hiperparâmetros:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

Criação de IA generativa baseada em fatos

O mecanismo RAG da Vertex AI e uma série de soluções de base permitem que os desenvolvedores criem aplicativos de IA generativa mais confiáveis, autênticos e perspicazes. Ao aproveitar essas ferramentas, você pode liberar todo o potencial do LLM e superar os desafios da desilusão e do conhecimento limitado, abrindo caminho para uma adoção mais ampla da IA generativa na empresa. Escolha a solução que melhor atenda às suas necessidades e comece a criar a próxima geração de aplicativos inteligentes.