Faculdade de Engenharia AI: 2,8 RAG misto (o mesmo que 2,9)

Retriever baseado em janela de sentença RAG metodologias

introdutório

O método Retrieval-Augmented Generation (RAG) baseado em Sentence Window para recuperadores é uma implementação de alto nível da estrutura RAG projetada para aprimorar a consciência do contexto e a coerência das respostas geradas por IA. A abordagem combina as vantagens dos modelos de linguagem em larga escala com técnicas eficientes de recuperação de informações para oferecer uma solução eficiente para gerar respostas de alta qualidade e ricas em contexto.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/03_Hybrid_RAG

locomotiva

Os sistemas RAG convencionais geralmente têm dificuldades para manter a coerência em uma gama mais ampla de contextos ou têm dificuldades para processar informações que abrangem vários blocos de texto. As abordagens de recuperação baseadas em janelas de frases tratam dessa limitação preservando as relações contextuais entre os blocos de texto durante o processo de indexação e utilizando essas informações durante a recuperação e a geração.

Detalhes metodológicos

Pré-processamento de documentos e criação de índice de armazenamento de vetores

1. Divisão de documentosDividir o documento de entrada em frases.
2. Criação de blocos de textoAgrupamento de frases em pedaços gerenciáveis de texto.
3. incorporaçãoCada bloco de texto é processado por meio de um modelo de incorporação para gerar uma representação vetorial.
4. Índice do banco de dados vetorialIDs de blocos de texto: armazena as IDs de blocos de texto, o conteúdo do texto e os vetores de incorporação em um banco de dados de vetores para uma pesquisa de similaridade eficiente.
5. Índice da estrutura do documentoArmazena relações entre blocos de texto individualmente, incluindo referências entre cada bloco e os k blocos anteriores e posteriores a ele.

Fluxo de trabalho de geração de aprimoramento de recuperação

1. processamento de consultasIncorporação de consultas do usuário usando o mesmo modelo de incorporação dos blocos de texto.
2. Pesquisa de similaridadeUse a incorporação de consultas para encontrar os trechos de texto mais relevantes em um banco de dados vetorial.
3. extensão de contexto (computação)Para cada bloco de texto recuperado, o sistema obtém os k blocos de texto vizinhos antes e depois dele no banco de dados da estrutura do documento.
4. contextualizaçãoCombinação: Combine o bloco de texto recuperado e seu contexto estendido com a consulta original.
5. gerandoPassagem de contextos de extensão e consultas a grandes modelos de linguagem para gerar respostas.

fluxograma

O fluxograma a seguir ilustra o método Retriever RAG baseado na Sentence Window:

Principais recursos do RAG

• Recuperação eficiente: Recuperação de informações rápida e precisa usando pesquisa de similaridade de vetores.
• sensível ao contextoPreservar a relação entre a estrutura do documento e os blocos de texto durante o processo de indexação.
• Janela de contexto flexívelSuporte ao redimensionamento dinâmico da janela de contexto durante a recuperação.
• escalabilidadePode lidar com grandes coleções de documentos e diversos tipos de consulta.

Vantagens desse método

1. Melhorar a coerênciaGerar respostas mais coerentes e contextualmente precisas, incluindo blocos de texto vizinhos.
2. Redução das alucinaçõesReduzir a probabilidade de gerar conteúdo incorreto ou irrelevante por meio de informações contextuais recuperadas.
3. Armazenamento eficienteOtimize o espaço de armazenamento armazenando apenas as informações necessárias no banco de dados de vetores.
4. Janela de contexto ajustávelRedimensionamento dinâmico da janela de contexto de acordo com diferentes requisitos de consultas ou aplicativos.
5. Retenção da estrutura do documentoPreservar a estrutura original e o fluxo de informações do documento, tornando a geração mais compreensível semanticamente.

chegar a um veredicto

A abordagem RAG baseada em Sentence Window Retriever oferece uma solução eficiente para melhorar a qualidade e a relevância contextual das respostas geradas por IA. Ao preservar a estrutura do documento e oferecer suporte a extensões de contexto flexíveis, a abordagem aborda as principais limitações dos sistemas RAG tradicionais e oferece uma estrutura confiável para a criação de sistemas avançados de perguntas e respostas, análise de documentos e aplicativos de geração de conteúdo.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>