Instituto de Engenharia de IA

Visão geral Este guia o orientará na criação de um sistema RAG (Retrieval Augmented Generation) simples usando Python puro. Usaremos um modelo de incorporação e um modelo de linguagem grande (LLM) para recuperar documentos relevantes e gerar respostas com base nas consultas do usuário. https://github.com/adithya-s-k/A...

Introdução A geração aprimorada por recuperação (RAG) é uma técnica avançada que combina os benefícios de grandes modelos de linguagem com a capacidade de recuperar informações relevantes de uma base de conhecimento. Essa abordagem melhora a qualidade e a precisão das respostas geradas, baseando-as em informações recuperadas específicas.a Este notebook tem como objetivo ...

INTRODUÇÃO O BM25 Retrieval Augmented Generation (BM25 RAG) é uma técnica avançada que combina o algoritmo BM25 (Best Matching 25) para recuperação de informações com um modelo de linguagem ampla para geração de texto. Ao usar um modelo de recuperação probabilístico validado, esse método melhora a precisão e a relevância das respostas geradas....

Introdução A fragmentação de dados é uma etapa fundamental dos sistemas RAG (Retrieval Augmented Generation). Ele divide documentos grandes em partes menores e gerenciáveis para indexação, recuperação e processamento eficientes. Este LEIAME apresenta uma visão geral dos vários métodos de fragmentação disponíveis no pipeline do RAG. https://github.com/adithya-...

Introdução A avaliação é um componente essencial para o desenvolvimento e a otimização dos sistemas RAG (Retrieval Augmentation Generation). A avaliação envolve a medição do desempenho, da precisão e da qualidade de todos os aspectos do processo de RAG, desde a eficácia da recuperação até a relevância e a autenticidade das respostas geradas. Importância da avaliação do RAG Um sistema RAG eficaz...

O modelo de reordenação melhorará os resultados da classificação semântica ao reordenar a lista de documentos candidatos com base na correspondência semântica com a pergunta do usuário. Comumente usado o bge-reranker-v2-m3 ou o cohere

Sentence Window-Based Retrieval RAG Approach Introdução A abordagem Sentence Window-Based Retrieval RAG (Retrieval-Augmented Generation) é uma implementação de alto nível da estrutura RAG projetada para aprimorar a consciência do contexto e a coerência das respostas geradas por IA. A abordagem combina um grande modelo de linguagem com um alto nível de ...

  Introdução O método RAG (Sentence Window-based Retrieval-Augmented Generation) é uma implementação de alto nível da estrutura RAG que visa aprimorar a consciência do contexto e a coerência das respostas geradas por IA. O método combina o poder de um grande modelo de linguagem com informações eficientes ...

Introdução O Auto Merge Retriever é uma implementação de alto nível da estrutura RAG (Enhanced Retrieval Generation). Seu objetivo é aprimorar a consciência do contexto e a coerência das respostas geradas pela IA, mesclando contextos potencialmente fragmentados e menores em contextos maiores e mais abrangentes. https://github.com/adith...

Introdução O Manual do Usuário de Transformações de Consultas demonstra uma variedade de técnicas para transformar e desambiguar as consultas dos usuários antes de serem executadas em um mecanismo de consulta RAG (Retrieval-Augmented Generation), inteligências ou outros processos. Essas transformações podem melhorar a qualidade e a relevância das respostas em aplicativos de IA. https://github.com/adithya-s-k/AI-...

Introdução O Self-Query RAG (SQRAG) é uma abordagem avançada de Retrieval Augmented Generation (RAG) que aprimora o processo tradicional de RAG, introduzindo a extração de metadados na fase de ingestão e a análise inteligente de consultas na fase de recuperação. https://github.com/adithya-s-k/AI-Engi...

Introdução O RAG-Fusion é uma metodologia avançada de recuperação de informações e geração de texto baseada no Retrieval Augmented Generation (RAG). Este projeto implementa o RAG-Fusion para fornecer respostas mais precisas, contextualmente relevantes e abrangentes às consultas dos usuários. https://github.com/adithya-s-k...

Introdução O RAPTOR (Recursive Abstract Processing for Tree-Structured Retrieval Enhanced Generation) é um método avançado de geração aprimorada de recuperação (RAG). Ele aprimora o processo RAG tradicional introduzindo técnicas de estruturação e resumo de documentos hierárquicos. https://github.com/adithya-s-k/AI-Engineering.acade...

O ColBERT (Contextualised Post-Cultural Interaction based on BERT) é diferente do modelo tradicional de incorporação densa. Aqui está uma breve descrição de como o ColBERT funciona: Incorporação em nível de token: ao contrário de criar diretamente um único vetor para um documento ou consulta inteira, o ColBERT cria vetores de incorporação para cada token. Após...

  Introdução O GraphRAG (Graph Structure Based Retrieval Enhanced Generation) é um método avançado de recuperação e geração. Ele combina as vantagens das estruturas de dados de gráficos e os recursos dos modelos de linguagem grande (LLMs) para superar algumas das limitações dos sistemas RAG tradicionais. https://github.com/adithya-s-k/AI-Engi...

  INTRODUÇÃO Abordagem baseada em corpos inteligentes para aprimorar a geração aumentada de recuperação. O Multi-Document Agentic RAG (Retrieval Augmented Generation) é um método avançado de recuperação e geração de informações que combina o processamento de vários documentos, sistemas de corpos inteligentes e grandes...