Langchain Chatchat ist eine Lösung zur Erweiterung der Wissensbasis, die Folgendes ermöglicht: vollständig lokalisiertes Reasoning, das sich auf die Lösung der Unternehmensprobleme beim Schutz der Datensicherheit und beim Einsatz in privaten Bereichen konzentriert. Die Open-Source-Lösung ist unter der Apache-Lizenz lizenziert und steht für die kommerzielle Nutzung ohne Bezahlung zur Verfügung.
Unterstützung für das marktübliche lokale große Sprachmodell und das Einbettungsmodell, Unterstützung für die lokale Open-Source-Vektordatenbank.
1. ökologische Konfiguration
Stellen Sie zunächst sicher, dass auf Ihrem Rechner Python 3.8 - 3.11 installiert ist (Python 3.11 wird dringend empfohlen). Verwenden Sie nicht die neueste Version!
$ python --version
Demo-Umgebung ist Windows 11, RTX 4090 24GB, i7-12700
Für die Installation des CUDA Toolkits wird empfohlen, die CUDA Version 12.1 zu installieren, da dies die von den Entwicklern verwendete Version ist, klicken Sie auf [Offizieller Download]
Beachten Sie, dass Sie, wenn Sie sich nicht im Ausland befinden, selbst über einen weltweiten wissenschaftlichen Internetzugang verfügen müssen, da das Programm sonst nicht richtig installiert werden kann.
2. formale Installation
Ziehen Sie die Projektdatei aus dem Repository:
# Pull Warehouse
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git# Zugang zum Katalog
$ cd Langchain-Chatchat# Installation aller Abhängigkeiten
$ pip install -r anforderungen.txt
$ pip install -r anforderungen_api.txt
$ pip install -r anforderungen_webui.txtDie Standardabhängigkeiten von # umfassen die Basis-Laufzeitumgebung (FAISS-Vektorbibliothek). Wenn Sie eine Vektorbibliothek wie milvus/pg_vector verwenden möchten, entfernen Sie bitte vor der Installation das Kommentarzeichen für die entsprechende Abhängigkeit in der Datei requirements.txt.
3. das Modell herunterladen
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh
Initialisierung Konfiguration
python copy_config_example.py
python init_database.py --recreate-vs
4. aktivierung
python startup.py -a
Beim ersten Start müssen Sie eine E-Mail-Adresse eingeben, um die webUI-Visualisierung zur Nutzung zu öffnen!
Empfohlene Parameter für GPU-Hardware
7B Modell mit 14GB+ Videospeicher, empfohlen NVIDIA RTX4080 16G und höher
Modell der Klasse 14B mit mehr als 30 GB Videospeicher, empfohlen: NVIDIA Tesla V100 32G und höher
Modell der 39B-Klasse mit mehr als 69 GB Videospeicher, empfohlen wird NVIDIA A100 80G und mehr
Modell der 72B-Klasse mit mehr als 145 GB Videospeicher, erfordert eine professionelle Grafikkarte oder Multi-Card-Stacking
