AI Engineering Academy : 2.3BM25 RAG (Retrieval Augmented Generation)

bref

BM25 检索增强生成（BM25 RAG）是一种高级技术，将用于信息检索的 BM25（Best Matching 25）算法与大语言模型结合，用于文本生成。通过使用经过验证的概率检索模型，此方法可提高生成响应的准确性和相关性。

BM25 RAG 工作流

Démarrage rapide

Carnet de notes

您可以运行此代码库中提供的 Jupyter notebook，详细探索 BM25 RAG。https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/01_BM25_RAG

application de chat

1. Installer les dépendances :

   pip install -r requirements.txt
   

2. Exécuter l'application :

   python app.py
   

3. 动态摄取数据：

   python app.py --ingest --data_dir /path/to/documents
   

serveur (ordinateur)

运行服务器：

python server.py

服务器包含两个端点：

• /api/ingest：用于摄取新文档
• /api/query：用于查询 BM25 RAG systèmes

BM25 RAG 的关键特性

1. 概率检索：BM25 使用概率模型对文档进行排序，为检索提供了理论上的可靠基础。
2. 词频饱和：BM25 考虑了重复词的边际收益递减，提高了检索质量。
3. 文档长度归一化：算法考虑文档长度，减少对较长文档的偏向。
4. pertinence contextuelle：通过基于检索信息生成响应，BM25 RAG 提供更准确和相关的回答。
5. évolutivité：BM25 检索步骤可高效处理大型文档集。

BM25 RAG 的优势

1. Amélioration de la précision：结合概率检索与神经文本生成的优点。
2. l'interprétabilité：BM25 的评分机制相比密集向量检索方法更具可解释性。
3. 处理长尾查询：在需要特定或稀有信息的查询中表现优异。
4. 无需嵌入：与基于向量的 RAG 不同，BM25 不需要文档嵌入，降低了计算开销。

conditions préalables

• Python 3.7+
• Jupyter Notebook 或 JupyterLab（用于运行 notebook）
• 所需 Python 包（见 requirements.txt)
• 所选语言模型的 API 密钥（如 OpenAI API 密钥）