AI个人学习
和实操指南

Langchain-Chatchat 部署教程!免费开源可商用,完全本地化推理的知识库增强方案

Langchain-Chatchat 部署教程!免费开源可商用,完全本地化推理的知识库增强方案-1

 

Langchain-Chatchat 部署教程!免费开源可商用,完全本地化推理的知识库增强方案-2

Langchain Chatchat 是一个可以实现:完全本地化推理的知识库增强方案, 重点解决数据安全保护,私域化部署的企业痛点。 开源方案采用Apache License,可以免费商用,无需付费。

支持市面上主流的本地大语言模型和Embedding模型,支持开源的本地向量数据库。

 

1. 环境配置

首先,确保你的机器安装了 Python 3.8 – 3.11 (强烈推荐使用 Python3.11)。不要使用最新版!

$ python --version

演示环境为 Windows 11 系统 、RTX 4090 24GB、i7-12700

 

安装CUDA Toolkit,建议安装 CUDA 12.1版本,因为开发者就是用的这个版本,点击前往【官方下载】;

需要注意的是,如果你不在海外,需要自行全局科学上网,否则无法正常安装。

 

2. 正式安装

拉取仓库项目文件:

 

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

# 默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。

 

3.下载模型

 

git lfs install

 

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

初始化配置

python copy_config_example.py
python init_database.py --recreate-vs

 

4.启动

 

python startup.py -a

第一次启动的时候需要输入一个邮箱,就可以打开 webUI 可视化界面进行使用!

 

GPU硬件推荐参数

7B的模型,显存14GB+,推荐 NVIDIA RTX4080 16G及以上
14B级模型,显存30GB+,推荐 NVIDIA Tesla V100 32G及以上
39B级模型,显存69GB+,推荐 NVIDIA A100 80G及以上
72B级模型,显存145GB+,需要专业级显卡或者多卡叠加

AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » Langchain-Chatchat 部署教程!免费开源可商用,完全本地化推理的知识库增强方案
分享到

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们