O Langchain Chatchat é uma solução de aprimoramento da base de conhecimento que permite: raciocínio totalmente localizado, com foco na solução dos pontos problemáticos empresariais de proteção de segurança de dados e implantação de domínio privado. A solução de código aberto está licenciada sob a Licença Apache e é gratuita para uso comercial sem pagamento.
Suporte para o modelo de linguagem local de grande porte e o modelo de incorporação, suporte para banco de dados vetorial local de código aberto.
1. configuração ambiental
Primeiro, verifique se você tem o Python 3.8 - 3.11 (o Python 3.11 é altamente recomendado) instalado em seu computador. Não use a versão mais recente!
$ python --version
O ambiente de demonstração é o Windows 11, RTX 4090 24GB, i7-12700
Para instalar o kit de ferramentas CUDA, é recomendável instalar a versão 12.1 do CUDA, pois essa é a versão usada pelos desenvolvedores; clique para ir para [Download oficial]
Observe que, se você não estiver no exterior, precisará ter acesso à Internet científica global, caso contrário, ele não será instalado corretamente.
2. instalação formal
Extraia o arquivo de projeto do repositório:
# Armazém de puxar
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git# Acesso ao catálogo
$ cd Langchain-Chatchat# Instalar todas as dependências
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txtAs dependências padrão do # incluem o ambiente de tempo de execução básico (biblioteca vetorial FAISS). Se você quiser usar uma biblioteca vetorial, como milvus/pg_vector, descomente a dependência correspondente em requirements.txt antes de instalar.
3. faça o download do modelo
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh
Configuração de inicialização
python copy_config_example.py
python init_database.py --recreate-vs
4. ativação
python startup.py -a
Na primeira vez que o iniciar, você precisará inserir um endereço de e-mail para abrir a visualização da webUI para uso!
Parâmetros recomendados para o hardware da GPU
Modelo 7B com mais de 14 GB de memória de vídeo, recomendado NVIDIA RTX4080 16G e superior
Modelo Classe 14B com mais de 30 GB de memória de vídeo, recomendado NVIDIA Tesla V100 32G e superior
Modelo de classe 39B com mais de 69 GB de memória de vídeo, recomendado NVIDIA A100 80G e superior
Modelo de classe 72B com mais de 145 GB de memória de vídeo, requer placa de vídeo de nível profissional ou empilhamento de várias placas
