Langchain-Chatchat Einführungs-Tutorial! Kostenlose, kommerziell erhältliche, vollständig lokalisierte Lösung zur Erweiterung der Wissensdatenbank durch Open Source

Langchain Chatchat ist eine Lösung zur Erweiterung der Wissensbasis, die Folgendes ermöglicht: vollständig lokalisiertes Reasoning, das sich auf die Lösung der Unternehmensprobleme beim Schutz der Datensicherheit und beim Einsatz in privaten Bereichen konzentriert. Die Open-Source-Lösung ist unter der Apache-Lizenz lizenziert und steht für die kommerzielle Nutzung ohne Bezahlung zur Verfügung.

Unterstützung für das marktübliche lokale große Sprachmodell und das Einbettungsmodell, Unterstützung für die lokale Open-Source-Vektordatenbank.

1. ökologische Konfiguration

Stellen Sie zunächst sicher, dass Sie Python 3.8 - 3.11 (Python 3.11 wird dringend empfohlen) auf Ihrem Rechner installiert haben. Verwenden Sie nicht die neueste Version!

$ python --version

Demonstrationsumgebung ist Windows 11, RTX 4090 24GB, i7-12700

Für die Installation des CUDA Toolkits wird empfohlen, die CUDA Version 12.1 zu installieren, da dies die von den Entwicklern verwendete Version ist, klicken Sie auf [Offizieller Download]

Beachten Sie, dass Sie, wenn Sie sich nicht in Übersee befinden, selbst über einen weltweiten wissenschaftlichen Internetzugang verfügen müssen, da das Programm sonst nicht ordnungsgemäß installiert werden kann.

2. formale Installation

Ziehen Sie die Projektdatei aus dem Repository:

# Pull Warehouse
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# Zugang zum Katalog
$ cd Langchain-Chatchat

# Installation aller Abhängigkeiten
$ pip install -r anforderungen.txt
$ pip install -r anforderungen_api.txt
$ pip install -r anforderungen_webui.txt

Die Standardabhängigkeiten von # umfassen die Basis-Laufzeitumgebung (FAISS-Vektorbibliothek). Wenn Sie eine Vektorbibliothek wie milvus/pg_vector verwenden möchten, entfernen Sie bitte vor der Installation das Kommentarzeichen für die entsprechende Abhängigkeit in der Datei requirements.txt.

3. das Modell herunterladen

git lfs install

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

Initialisierung Konfiguration

python copy_config_example.py
python init_database.py --recreate-vs

4. aktivierung

python startup.py -a

Beim ersten Start müssen Sie eine E-Mail-Adresse eingeben, um die webUI-Visualisierung zur Nutzung zu öffnen!

Empfohlene Parameter für GPU-Hardware

7B Modell mit 14GB+ Videospeicher, empfohlen NVIDIA RTX4080 16G und höher
Modell der Klasse 14B mit mehr als 30 GB Videospeicher, empfohlen: NVIDIA Tesla V100 32G und höher
Modell der 39B-Klasse mit mehr als 69 GB Videospeicher, empfohlen wird NVIDIA A100 80G und mehr
Modell der 72B-Klasse mit mehr als 145 GB Videospeicher, erfordert eine professionelle Grafikkarte oder Multi-Card-Stacking