랭체인-챗챗 배포 튜토리얼! 상업적으로 이용 가능한 무료 오픈 소스, 완전히 현지화된 추론 지식 기반 향상 솔루션

랭체인 챗챗은 데이터 보안 보호와 프라이빗 도메인 배포라는 기업의 고충을 해결하는 데 초점을 맞춘 완전히 현지화된 추론을 가능하게 하는 지식 기반 향상 솔루션입니다. 이 오픈 소스 솔루션은 Apache 라이선스에 따라 라이선스가 부여되며, 상업적 용도로는 비용 지불 없이 무료로 사용할 수 있습니다.

시장의 주류 로컬 대형 언어 모델 및 임베딩 모델 지원, 오픈 소스 로컬 벡터 데이터베이스 지원.

1. 환경 설정

먼저, 컴퓨터에 파이썬 3.8~3.11(파이썬 3.11을 적극 권장)이 설치되어 있는지 확인합니다. 최신 버전을 사용하지 마세요!

$ 파이썬 --버전

데모 환경은 Windows 11, RTX 4090 24GB, i7-12700입니다.

CUDA 툴킷을 설치하려면 개발자가 사용하는 버전인 CUDA 버전 12.1을 설치하는 것이 좋습니다.공식 다운로드]

해외가 아닌 경우 글로벌 과학 인터넷에 직접 접속해야 하며, 그렇지 않으면 제대로 설치되지 않습니다.

2. 정식 설치

리포지토리 프로젝트 파일을 가져옵니다:

# 풀 창고
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 카탈로그에 액세스
$ cd 랭체인-챗챗

# 모든 종속성 설치
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

# 기본 종속성에는 기본 런타임 환경(FAISS 벡터 라이브러리)이 포함됩니다. milvus/pg_vector와 같은 벡터 라이브러리를 사용하려면 설치하기 전에 요구사항.txt에서 해당 종속성을 주석 처리해 주세요.

3. 모델 다운로드

git lfs 설치

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

초기화 구성

python copy_config_example.py
python init_database.py --recreate-vs

4. 활성화

python startup.py -a

처음 시작할 때 이메일 주소를 입력해야 웹UI 시각화를 열어 사용할 수 있습니다!

GPU 하드웨어에 권장되는 파라미터

14GB 이상의 비디오 메모리가 장착된 7B 모델, NVIDIA RTX4080 16G 이상 권장
30GB 이상의 비디오 메모리를 갖춘 클래스 14B 모델, NVIDIA Tesla V100 32G 이상 권장
69GB 이상의 비디오 메모리가 장착된 39B급 모델, NVIDIA A100 80G 이상 권장
145GB 이상의 비디오 메모리를 갖춘 72B급 모델, 전문가급 그래픽 카드 또는 멀티 카드 스태킹이 필요합니다.