Tutorial de implantação do Langchain-Chatchat! Solução de aprimoramento da base de conhecimento de raciocínio de código aberto gratuita, disponível comercialmente e totalmente localizada

O Langchain Chatchat é uma solução de aprimoramento da base de conhecimento que permite: raciocínio totalmente localizado, com foco na solução dos pontos problemáticos empresariais de proteção de segurança de dados e implantação de domínio privado. A solução de código aberto está licenciada sob a Licença Apache e é gratuita para uso comercial sem pagamento.

Suporte para o modelo de linguagem local de grande porte e o modelo de incorporação, suporte para banco de dados vetorial local de código aberto.

1. configuração ambiental

Primeiro, verifique se você tem o Python 3.8 - 3.11 (o Python 3.11 é altamente recomendado) instalado em seu computador. Não use a versão mais recente!

$ python --version

O ambiente de demonstração é o Windows 11, RTX 4090 24GB, i7-12700

Para instalar o kit de ferramentas CUDA, é recomendável instalar a versão 12.1 do CUDA, pois essa é a versão usada pelos desenvolvedores; clique para ir para [Download oficial]

Observe que, se você não estiver no exterior, precisará ter acesso à Internet científica global, caso contrário, ele não será instalado corretamente.

2. instalação formal

Extraia o arquivo de projeto do repositório:

# Armazém de puxar
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# Acesso ao catálogo
$ cd Langchain-Chatchat

# Instalar todas as dependências
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

As dependências padrão do # incluem o ambiente de tempo de execução básico (biblioteca vetorial FAISS). Se você quiser usar uma biblioteca vetorial, como milvus/pg_vector, descomente a dependência correspondente em requirements.txt antes de instalar.

3. faça o download do modelo

git lfs install

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

Configuração de inicialização

python copy_config_example.py
python init_database.py --recreate-vs

4. ativação

python startup.py -a

Na primeira vez que o iniciar, você precisará inserir um endereço de e-mail para abrir a visualização da webUI para uso!

Parâmetros recomendados para o hardware da GPU

Modelo 7B com mais de 14 GB de memória de vídeo, recomendado NVIDIA RTX4080 16G e superior
Modelo Classe 14B com mais de 30 GB de memória de vídeo, recomendado NVIDIA Tesla V100 32G e superior
Modelo de classe 39B com mais de 69 GB de memória de vídeo, recomendado NVIDIA A100 80G e superior
Modelo de classe 72B com mais de 145 GB de memória de vídeo, requer placa de vídeo de nível profissional ou empilhamento de várias placas