WikiChat: una herramienta de chat para recuperar conocimientos a partir de datos de Wikipedia

Introducción general

WikiChat是由斯坦福大学开发的一款实验性聊天机器人，旨在通过从维基百科检索数据来提高大语言模型的事实性。大语言模型（如ChatGPT和GPT-4）在处理最新信息或不太流行的话题时，往往会出现错误。WikiChat通过使用维基百科和一个七阶段的管道，确保其响应的准确性。该项目支持多种语言，并且能够从结构化数据（如表格、信息框和列表）中检索信息。WikiChat还提供了高质量的维基百科预处理脚本，并使用最先进的多语言检索模型BGE-M3和Qdrant进行可扩展的向量搜索。

Lista de funciones

• Soporte multilingüe：默认支持从 10 种不同语言的 Wikipedia 中检索信息。
• 改进的信息检索：支持从结构化数据（如表格、信息框和列表）中检索信息。
• 高质量的 Wikipedia 预处理脚本：使用最先进的多语言检索模型 BGE-M3。
• 免费多语言 Wikipedia 搜索 API：提供高质量、免费的（但有速率限制）搜索 API。
• 扩展的 LLM 兼容性：通过统一接口支持超过 100 种 LLM。
• 优化的管道：提供更快、更具成本效益的管道选项。
• LangChain 兼容性：完全兼容 LangChain。
• 多用户访问部署：提供代码以部署简单的前端和后端，并连接到 Azure Cosmos DB 数据库以存储对话。

Utilizar la ayuda

Proceso de instalación

1. Instalación de dependencias::

   git clone https://github.com/stanford-oval/WikiChat.git
   cd WikiChat
   conda env create --file conda_env.yaml
   conda activate wikichat
   python -m spacy download en_core_web_sm
   

2. Instalación de Docker：按照 Docker 官方文档 进行安装。
3. Configuración de LLM::
   • escribir datos en una casilla (en un cuestionario o formulario web) llm_config.yaml 文件中的相关字段。
   • Cree un archivo llamado API_KEYS 的文件，并设置所需的 API 密钥。
4. 配置信息检索::
   • 使用默认的 Wikipedia 搜索 API。
   • 或者下载并托管 Wikipedia 索引。
   • 或者构建自己的索引。
5. 运行 WikiChat::

   inv demo --retriever-endpoint "http://0.0.0.0:<port number>/search"
   

Función Flujo de operaciones

1. Soporte multilingüe：WikiChat 默认从 10 种不同语言的 Wikipedia 中检索信息，包括英语、中文、西班牙语、葡萄牙语、俄语、德语、法语、意大利语、日语和波斯语。
2. recuperación de información：支持从结构化数据（如表格、信息框和列表）中检索信息，使用最先进的多语言检索模型 BGE-M3。
3. 免费搜索 API：提供高质量、免费的多语言 Wikipedia 搜索 API，支持超过 180M 向量嵌入。
4. 扩展 LLM 兼容性：通过统一接口支持超过 100 种 LLM，包括 OpenAI、Azure、Anthropic、Mistral、HuggingFace、Together.ai 和 Groq 的模型。
5. 优化管道：提供更快、更具成本效益的管道选项，通过合并 WikiChat 的“生成”和“提取声明”阶段来优化性能。
6. LangChain 兼容性：完全兼容 LangChain，支持多种 LLM 的无缝集成。
7. 多用户访问部署：提供代码以部署简单的前端和后端，并连接到 Azure Cosmos DB 数据库以存储对话。