AI工程学院

概述 本指南将引导您使用纯 Python 创建一个简单的检索增强生成 (RAG) 系统。我们将使用一个嵌入模型和一个大语言模型 (LLM) 来检索相关文档并基于用户的查询生成回复。   https://github.com/adithya-s-k/A...

介绍   检索增强生成 (RAG) 是一种强大的技术，它将大型语言模型的优势与从知识库中检索相关信息的能力相结合。这种方法通过将生成的响应建立在特定的检索信息上来提高生成响应的质量和准确性。a 本笔记本旨...

简介 BM25 检索增强生成（BM25 RAG）是一种高级技术，将用于信息检索的 BM25（Best Matching 25）算法与大语言模型结合，用于文本生成。通过使用经过验证的概率检索模型，此方法可提高生成响应的准确性和相关性。...

简介 数据分块是检索增强生成（RAG）系统中的关键步骤。它将大型文档分解为较小的、可管理的片段，以便高效索引、检索和处理。本 README 提供了 RAG 管道中可用的各种分块方法概述。 https://github.com/adithya-...

简介 评估是开发和优化检索增强生成（RAG）系统的关键环节。评估涉及对 RAG 流程各方面的性能、准确性和质量进行衡量，包括从检索效果到生成响应的相关性和真实性。   RAG 评估的重要性 对 RAG 系统进行有效...

重排序模型将根据候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果。 常用bge-reranker-v2-m3或cohere

基于句子窗口的检索器 RAG 方法   引言 基于句子窗口的检索器 RAG（Retrieval-Augmented Generation）方法是 RAG 框架的高级实现，旨在增强 AI 生成回复的上下文意识和连贯性。该方法结合了大型语言模型与高...

  引言 基于句窗口的检索增强生成（Retrieval-Augmented Generation，简称 RAG）方法是 RAG 框架的高级实现，旨在增强 AI 生成回答的上下文感知能力和连贯性。该方法结合了大语言模型的强大功能和高效的信息...

简介 自动合并检索器是增强检索生成（RAG）框架的一种高级实现。该方法旨在通过将可能分散且较小的上下文合并成更大且更全面的上下文，从而增强 AI 生成响应的上下文感知能力和连贯性。 https://github.com/adith...

介绍 查询转换使用手册展示了在检索增强生成 (RAG) 查询引擎、智能体或其他流程中执行用户查询前进行转换和分解的多种技术。这些转换可以提高 AI 应用中响应的质量和相关性。 https://github.com/adithya-s-k/AI-...

介绍 自查询 RAG（Self-Query RAG） 是一种先进的检索增强生成（RAG）方法，它通过在摄取阶段引入元数据提取以及在检索阶段引入智能查询解析，从而增强了传统 RAG 流程。 https://github.com/adithya-s-k/AI-Engi...

介绍 RAG-Fusion 是一种先进的信息检索和文本生成方法，建立在检索增强生成（RAG）的基础上。该项目实现了 RAG-Fusion，以提供更准确、更具上下文相关性且更全面的用户查询响应。 https://github.com/adithya-s-k...

引言 RAPTOR（树结构化检索增强生成的递归摘要处理）是一种先进的检索增强生成（RAG）方法。它通过引入层级文档结构化和摘要技术，增强了传统的 RAG 流程。 https://github.com/adithya-s-k/AI-Engineering.acade...

ColBERT（基于 BERT 的上下文化后交互）与传统的密集嵌入模型有所不同。以下是 ColBERT 工作原理的简要说明： Token 层级嵌入：不同于直接为整个文档或查询创建单个向量，ColBERT 为每个 Token 创建嵌入向量。 后...