AI知识 第5页

01.背景 在RAG应用开发中，第一步就是对于文档进行chunking（分块），高效的文档分块，可以有效的提高后续的召回内容的准确性。而对于如何高效的分块是个讨论的热点，有诸如固定大小分块，随机大小分块，滑动窗口...

在过去的一年里，我们与多个行业中构建大语言模型 (LLM) 代理的团队合作。始终发现，最成功的实现并未使用复杂的框架或专用库，而是通过简单、可组合的模式构建完成。 在这篇文章中，我们将分享与客户合作以及自...

AI总结 概述 AI 提示工程 的深入探讨，通过一个圆桌会议的形式，多位来自 Anthropic 的专家从研究、消费和企业等不同角度分享了他们对提示工程的理解和实践经验。 文章详细阐述了提示工程的定义、重要性、以及如...

自从 OpenAI 发布了 o1 模型后，Scaling Test-Time Compute（扩展推理时计算）就成了 AI 圈子里最火爆的话题之一。简单来说，与其在预训练或后训练阶段疯狂堆算力，不如在推理阶段（也就是大语言模型生成输出的时...

  回顾2024，大模型日新月异，智能体百家争鸣。作为AI应用的重要组成部分，RAG也是“群雄逐鹿，诸侯并起”。年初ModularRAG持续升温、GraphRAG大放异彩，年中开源工具如火如荼、知识图谱再创新机，年末图表理...

近年来，随着生成式 AI（Generative AI）和大语言模型（LLM）的迅速发展，其安全性和可靠性问题引起了广泛关注。一项最新研究发现了一种被称为 Best-of-N 越狱法 （简称 BoN）的简单但高效的攻击方法。通过对输入...

长文本向量模型能够将十页长的文本编码为单个向量，听起来很强大，但真的实用吗？ 很多人觉得... 未必。 直接用行不行？该不该分块？怎么分才最高效？本文将带你深入探讨长文本向量模型的不同分块策略，分析利弊...

  一、测试提示词的根本原因： LLM 对提示词高度敏感，细微的措辞变化可能导致显著不同的输出结果 未经测试的提示词可能产生： 事实错误的信息 不相关的回复 不必要的 API 成本浪费 二、系统化的提示词优化...

概述 本指南将引导您使用纯 Python 创建一个简单的检索增强生成 (RAG) 系统。我们将使用一个嵌入模型和一个大语言模型 (LLM) 来检索相关文档并基于用户的查询生成回复。   https://github.com/adithya-s-k/A...

介绍   检索增强生成 (RAG) 是一种强大的技术，它将大型语言模型的优势与从知识库中检索相关信息的能力相结合。这种方法通过将生成的响应建立在特定的检索信息上来提高生成响应的质量和准确性。a 本笔记本旨...

简介 BM25 检索增强生成（BM25 RAG）是一种高级技术，将用于信息检索的 BM25（Best Matching 25）算法与大语言模型结合，用于文本生成。通过使用经过验证的概率检索模型，此方法可提高生成响应的准确性和相关性。...

简介 数据分块是检索增强生成（RAG）系统中的关键步骤。它将大型文档分解为较小的、可管理的片段，以便高效索引、检索和处理。本 README 提供了 RAG 管道中可用的各种分块方法概述。 https://github.com/adithya-...

今年 AI 领域最大的突破之一应该是在编程领域，像 Cursor、v0 dev 这样的 AI 编程工具，不仅大幅降低了普通人编程的门槛，也让专业程序员的开发效率大幅提升。   但是我们听到的新闻都是不会编程的高中生、...

简介 评估是开发和优化检索增强生成（RAG）系统的关键环节。评估涉及对 RAG 流程各方面的性能、准确性和质量进行衡量，包括从检索效果到生成响应的相关性和真实性。   RAG 评估的重要性 对 RAG 系统进行有效...

摘要 随着大语言模型（LLMs）展现出高度的类人能力，生成类人回复的角色扮演研究领域引起了越来越多的关注。这促进了角色扮演代理在各种应用中的探索，例如可以与用户进行自然对话的聊天机器人，以及能够提供个性...

重排序模型将根据候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果。 常用bge-reranker-v2-m3或cohere