SiliconCloud×FastGPT：20万人のユーザーによる専用AIナレッジベース構築を実現

FastGPTは、Circle Cloudチームによって開発されたLLMモデルに基づく知識ベースQ&Aシステムで、すぐに使えるデータ処理やモデルの呼び出しなどを提供します。FastGPTはGithubで19.4kスターを獲得しています。

Silicon FlowのSiliconCloudは、独自のアクセラレーションエンジンを持つ大規模なモデルクラウドサービスプラットフォームであり、SiliconCloudは、ユーザーが低コストかつ高速な方法でオープンソースモデルをテストし、使用するのに役立ちます。実際の経験では、彼らのモデルの速度と安定性は非常に優れており、言語、ベクトル、並べ替え、TTS、STT、マッピング、ビデオ生成などの数十のモデルをカバーする豊富なバリエーションがあり、FastGPTのすべてのモデルニーズを満たすことができます。

この記事は、FastGPTチームによって書かれたチュートリアルで、SiliconCloudモデルのみを使用してローカル開発でFastGPTをデプロイするソリューションを紹介します。

1 SiliconCloud Platform API キーの取得

1. シリコンクラウドのウェブサイトを開き、アカウントの登録/サインインを行う。
2. 登録完了後、API Keyを開き、新しいAPI Keyを作成し、将来使用するためにキーをクリックしてコピーします。

2 FastGPT 環境変数の変更

openai_base_url=https://api.siliconflow.cn/v1
# SiliconCloudコンソールから提供されたApi Keyを記入してください。
CHAT_API_KEY=sk-xxxxxx

FastGPT 開発および配備に関する文書: https://doc.fastgpt.cn

3 FastGPT 設定ファイルの変更

SiliconCloudのモデルはFastGPTの構成として選択された。ここでは、Qwen2.5 72bを純粋な言語モデルと視覚モデルで構成し、ベクトルモデルとしてbge-m3を選択し、並べ替えモデルとしてbge-reranker-v2-m3を選択している。音声モデルにはfish-speech-1.5を、音声入力モデルにはSenseVoiceSmallを選択する。

注：ReRankモデルは、APIキーで一度設定する必要があります。

{
「llmModels": [
{
"provider": "Other", // 主にカテゴリ表示に使われるモデルプロバイダで、現在は https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts を含むプロバイダが組み込まれています。pr新しいプロバイダを提供するか、Otherに記入してください。
"model": "Qwen/Qwen2.5-72B-Instruct", // モデル名(OneAPIのチャネルのモデル名に対応)
"name": "Qwen2.5-72B-Instruct", // モデルのエイリアス。
"maxContext": 32000, // コンテキストの最大値
"maxResponse": 4000, // レスポンスの最大値
"quoteMaxToken": 30000, // 引用内容の最大値
"maxTemperature": 1, // 最大温度
"charsPointsPrice": 0, // nポイント/1kトークン（商用版）
"censor": false, // 敏感な検閲を有効にするかどうか (商用版)
"vision": false, // 画像入力をサポートするかどうか
"datasetProcess": true, // テキスト理解モデルに設定するかどうか（QA）、少なくともどちらかがtrueであることを確認、そうでなければ知識ベースはエラーを報告する。
"usedInClassify": true, // 質問分類に使用するかどうか (少なくとも1つがtrueであることを確認してください)
"usedInExtractFields": true, // コンテンツ抽出に使用するかどうか (少なくとも1つがtrueであることを確認してください)
"usedInToolCall": true, // ツールの呼び出しに使用するかどうか (少なくとも1つがtrueであることを確認してください)
"usedInQueryExtension": true, // 質問最適化のために使用するかどうか (少なくとも1つがtrueであることを確認してください)
"toolChoice": true, // ツール選択がサポートされているかどうか (カテゴリ分類、コンテンツ抽出、ツール呼び出しに使用されます)
"functionCall": false, // 関数呼び出しをサポートするかどうか (カテゴリ分類、コンテンツ抽出、ツール呼び出しに使用されます。)最初にtoolChoiceを使用し、falseの場合は次にfunctionCallを使用し、それでもfalseの場合はプロンプトワードモードを使用する)
"customCQPrompt": "", // カスタムのテキスト分類プロンプター (ツールおよび関数呼び出しモデルをサポートしない)
"customExtractPrompt": "", // カスタムコンテンツ抽出プロンプター
"defaultSystemChatPrompt": "", // ダイアログ用のデフォルトシステムチャットプロンプト
"defaultConfig": {}, // APIリクエスト時の人質となるデフォルト設定（GLM4のtop_pなど
"fieldMap": {} // フィールドマッピング（o1モデルはmax_tokensをmax_completion_tokensにマッピングする必要があります。）
}, {}
{
「提供者": "その他", "モデル": "Qwen/", {

"name": "Qwen2-VL-72B-Instruct", "name": "Qwen2-VL-72B-Instruct", "maxContext": 32


「quoteMaxToken": 30000、"maxTemperature": 1,000,000、"maxTemperature": 1,000,000
"maxTemperature": 1, "charsPointsPrice".
「charsPointsPrice": 0, "censor": false, false

「vision": true, "datasetProcess".


「usedInExtractFields": false, "usedInToolCall": false, "usedInToolCall": false。

「usedInQueryExtension": false, "toolChoice": false, "usedInExtractFields": false, "usedInToolCall": false, "usedInQueryExtension": false、

「functionCall": false, "customCQPrompt": false
「customCQPrompt": "", "customExtractPrompt": false


「デフォルト設定": {}。
}
], "vectorModels": [", "defaultConfig": {}。
「vectorModels": [
{
"provider": "Other", "model": "Pro/BAAI/bge-m3", "vectorModels": [ {
"model": "Pro/BAAI/bge-m3", "name": "Pro/BAAI/bge-m3"、
"name"："Pro/BAAI/bge-m3"、
「charsPointsPrice": 0, "defaultToken": 512

「maxToken": 5000, "weight": 100
「重み": 100
}
], "reRankModels".
"reRankModels": [
{
"model": "BAAI/bge-reranker-v2-m3", // ここでのモデルは、以下のモデルに対応する必要がある。 シリコンフロー のモデル名。
"name": "BAAI/bge-reranker-v2-m3"、
"requestUrl": "https://api.siliconflow.cn/v1/rerank", "requestAuth".
"requestAuth": "siliconflowで要求されたキー"
}
], "audioSpeechModels", "audioSpeechModels
"audioSpeechModels":[(オーディオスピーチモデル)
{
"model": "fishaudio/fish-speech-1.5", "name": "fish-speech-1.5",{」。
"name": "fish-speech-1.5", [ "audioSpeechModels": [ 音声モデル
"voices": [
[モデル": "fish-speech-1.5", "voices": [
"label": "fish-alex", "value": "fish-audio/fish-speech-1.5", "voices": [ { "音声": [ 音声モデル

"bufferId": "fish-alex"
},
{
「ラベル": "fish-anna", "値": "fish-audio", "値": "fish-alex", {
"value": "fishaudio/fish-speech-1.5:anna", { "bufferId": "bufferId".
"bufferId": "fish-anna".
},
{
"label": "魚ベラ", "value": "fishaudio/fish-speech-1.5:anna", {
"value": "fishaudio/fish-speech-1.5:bella", {
"bufferId": "fish-bella".
}, }
{
"label": "魚-ベンジャミン", "value": "fish-audio/fish-speech-1.5:bella", {
"value": "fishaudio/fish-speech-1.5:benjamin", { "bufferId": "bufferId": "fish-benjamin",{。
"bufferId": "魚-ベンジャミン"
}, {
{
"label": "fish-charles", "value": "fish-audio", {
"value": "fishaudio/fish-speech-1.5:charles", {
"bufferId": "fish-charles".
}, }
{
"label": "fish-claire", "value": "fish-charles", {
"value": "fishaudio/fish-speech-1.5:claire", { "bufferId": "bufferId".
"bufferId": "fish-claire".
},
{
"label": "fish-david", "value": "fish-audio/fish-speech-1.5:claire", { { "bufferId": "bufferId".
"value": "fishaudio/fish-speech-1.5:david", { "bufferId": "bufferId": "fish-david",{。
"bufferId": "fish-david" (バッファID)
},
{
"label": "fish-diana", "value": "fish-audio/fish-speech-1.5:david", {
"value": "fishaudio/fish-speech-1.5:diana", { "bufferId": "bufferId".
"bufferId": "fish-diana".
}
]
}
]
"whisperModel": {
"model": "FunAudioLLM/SenseVoiceSmall"、
"name": "SenseVoiceSmall", "charsPointsPrice": 0.001.001.001.001
"charsPointsPrice": 0
}
}

4 FastGPT を再起動する

5 経験値テスト

対話と絵の認識テスト

新しいシンプルなアプリケーションを作成し、対応するモデルを選択し、画像のアップロードをオンにしてテストしてください。

ご覧のように、72Bのモデルは、パフォーマンスが非常に高速であり、いくつかのローカル4090がない場合は、環境の構成は言うまでもありませんが、私は出力が30秒かかることを恐れている。

ナレッジベースのインポートとナレッジベースクイズのテスト

新しい知識ベースを作成します（ベクトルモデルが1つしか設定されていないため、ベクトルモデルの選択はページに表示されません）。

ローカルファイルをインポートするには、ファイルを選択し、nextまで進みます。さて、ナレッジベースのクイズをテストしてみよう。

まず、先ほど作成したアプリケーションに戻り、Knowledge Baseを選択し、パラメータを調整してダイアログを開始する。

ダイアログが完了したら、引用の詳細を表示し、特定の検索と並べ替えのスコアを表示するには、下部にある引用をクリックします。

音声再生のテスト

先程のアプリに引き続き、設定の左側にある「Voice Play」を見つけてクリックし、ポップアップウィンドウから音声モデルを選択して試してみてください。

テスト言語入力

先程のアプリの左側の設定から音声入力を見つけてクリックし、ポップアップウィンドウから言語入力を有効にする。

オンにすると、ダイアログの入力ボックスにマイクのアイコンが追加され、それをクリックすることで音声入力が可能になる。

概要

オープンソースモデルを素早く体験したい、FastGPTを素早く使いたい、様々なサービスプロバイダにAPI Keyを申請したくないという方は、SiliconCloudのモデルを選んで素早く体験することができます。