Учебник по развертыванию Langchain-Chatchat! Бесплатное коммерческое решение с открытым исходным кодом, полностью локализованное решение для расширения базы знаний по аргументации

Langchain Chatchat - это решение для расширения базы знаний, позволяющее проводить полностью локализованные рассуждения и направленное на решение корпоративных проблем, связанных с защитой безопасности данных и развертыванием частных доменов. Решение с открытым исходным кодом лицензировано в соответствии с лицензией Apache и свободно для коммерческого использования без оплаты.

Поддержка основной локальной модели большого языка и модели встраивания, поддержка локальной векторной базы данных с открытым исходным кодом.

1. конфигурация окружающей среды

Во-первых, убедитесь, что на вашей машине установлен Python 3.8 - 3.11 (настоятельно рекомендуется Python 3.11). Не используйте последнюю версию!

$ python --version

Демонстрационная среда - Windows 11, RTX 4090 24 ГБ, i7-12700

Для установки CUDA Toolkit рекомендуется установить CUDA версии 12.1, так как именно эта версия используется разработчиками, нажмите для перехода [Официальная загрузка]

Обратите внимание, что если вы находитесь не за границей, то вам необходимо иметь глобальный научный доступ в Интернет, иначе он не установится должным образом.

2. Формальная установка

Извлеките файл проекта репозитория:

# Склад тяни-толкай
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# Доступ к каталогу
$ cd Langchain-Chatchat

# Установите все зависимости
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

Зависимости # по умолчанию включают базовую среду выполнения (векторную библиотеку FAISS). Если вы хотите использовать векторную библиотеку, такую как milvus/pg_vector, пожалуйста, откомментируйте соответствующую зависимость в файле requirements.txt перед установкой.

3. Загрузите модель

git lfs install

git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

Инициализация Конфигурация

python copy_config_example.py
python init_database.py --recreate-vs

4. активация

python startup.py -a

При первом запуске необходимо ввести адрес электронной почты, чтобы открыть визуализацию webUI для использования!

Рекомендуемые параметры для оборудования GPU

Модель 7B с 14 ГБ+ видеопамяти, рекомендуется NVIDIA RTX4080 16G и выше
Модель класса 14B с видеопамятью объемом более 30 ГБ, рекомендуется NVIDIA Tesla V100 32G и выше
Модель класса 39B с 69 ГБ+ видеопамяти, рекомендуется NVIDIA A100 80G и выше
Модель 72B-класса с объемом видеопамяти более 145 ГБ, требует видеокарты профессионального уровня или объединения нескольких карт.