¡Tutorial de despliegue de Langchain-Chatchat! Solución de mejora de la base de conocimientos de razonamiento totalmente localizada, gratuita y de código abierto disponible en el mercado

Langchain Chatchat es una solución de mejora de la base de conocimientos que permite: razonamiento totalmente localizado, centrado en resolver los puntos débiles de la empresa en materia de protección de la seguridad de los datos e implantación de dominios privados. La solución de código abierto tiene licencia Apache y es de uso comercial gratuito.

Compatibilidad con los principales modelos lingüísticos locales del mercado y con el modelo de incrustación , compatibilidad con la base de datos vectorial local de código abierto .

1. Configuración medioambiental

En primer lugar, asegúrese de que tiene Python 3.8 - 3.11 (Python 3.11 es muy recomendable) instalado en su máquina. ¡No utilice la última versión!

$ python --version

El entorno de demostración es Windows 11, RTX 4090 24GB, i7-12700

Para instalar CUDA Toolkit, se recomienda instalar CUDA versión 12.1, ya que es la versión utilizada por los desarrolladores, haga clic para ir a [Descarga oficial]

Ten en cuenta que, si no estás en el extranjero, necesitas tener acceso científico global a Internet, de lo contrario no se instalará correctamente.

2. Instalación formal

Extraiga el archivo de proyecto del repositorio:

# Almacén pull
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# Acceso al catálogo
$ cd Langchain-Chatchat

# Instalar todas las dependencias
$ pip install -r requisitos.txt
$ pip install -r requisitos_api.txt
$ pip install -r requisitos_webui.txt

Las dependencias por defecto de # incluyen el entorno de ejecución base (biblioteca vectorial FAISS). Si desea utilizar una biblioteca vectorial como milvus/pg_vector, descomente la dependencia correspondiente en requirements.txt antes de instalar.

3. Descargar el modelo

git lfs install

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

Inicialización Configuración

python copia_config_ejemplo.py
python init_database.py --recreate-vs

4. Activación

python inicio.py -a

La primera vez que lo inicies, deberás introducir una dirección de correo electrónico para abrir la visualización webUI y poder utilizarla.

Parámetros recomendados para el hardware de la GPU

Modelo 7B con más de 14 GB de memoria de vídeo, recomendado NVIDIA RTX4080 16G y superior
Modelo de clase 14B con más de 30 GB de memoria de vídeo, se recomienda NVIDIA Tesla V100 32G y superior
Modelo de clase 39B con más de 69 GB de memoria de vídeo, se recomienda NVIDIA A100 80G y superior
Modelo de clase 72B con más de 145 GB de memoria de vídeo, requiere tarjeta gráfica profesional o apilamiento de varias tarjetas