Langchain Chatchatは、完全にローカライズされた推論を可能にする知識ベース強化ソリューションであり、データ・セキュリティ保護とプライベート・ドメインの展開という企業の悩みを解決することに重点を置いています。 このオープンソース・ソリューションは、Apacheライセンスの下でライセンスされており、商用利用は無償です。
市場で主流のローカル大規模言語モデルと埋め込みモデルのサポート、オープンソースのローカルベクターデータベースのサポート。
1.環境構成
まず、マシンにPython 3.8～3.11がインストールされていることを確認してください（Python 3.11を強く推奨します）。最新バージョンは使用しないでください！
$ python --バージョン
デモ環境はWindows 11、RTX 4090 24GB、i7-12700。
CUDAツールキットをインストールするには、CUDAバージョン12.1をインストールすることをお勧めします。公式ダウンロード]
もしあなたが海外にいないのであれば、あなた自身がグローバルな科学的インターネットアクセスを持っている必要があり、そうでなければ正しくインストールされないことに注意してください。
2.正式な設置
リポジトリのプロジェクトファイルを取り出します：
#プル倉庫
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git# カタログへのアクセス
$ cd ランシャンシャット# すべての依存関係をインストールする
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt#のデフォルトの依存関係には、基本実行環境(FAISSベクトルライブラリ)が含まれています。milvus/pg_vectorのようなベクターライブラリを使用したい場合は、インストール前にrequirements.txtの対応する依存関係をアンコメントしてください。
3.モデルをダウンロードする
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh
初期設定
python copy_config_example.py
python init_database.py --recreate-vs
4.アクティベーション
python startup.py -a
初回起動時には、ウェブUIビジュアライゼーションを使用するためにEメールアドレスを入力する必要があります！
GPUハードウェアの推奨パラメータ
14GB以上のビデオメモリを搭載した7Bモデル、NVIDIA RTX4080 16G以上を推奨
30GB以上のビデオメモリを搭載したクラス14Bモデル、NVIDIA Tesla V100 32G以上を推奨
ビデオメモリ69GB以上の39Bクラスモデル、NVIDIA A100 80G以上を推奨
145GB以上のビデオメモリを搭載した72Bクラスモデル、プロフェッショナルグレードのグラフィックカードまたはマルチカードスタッキングが必要
