SiliconCloud x FastGPT: 20만 명의 사용자가 독점적인 AI 지식 기반을 구축할 수 있도록 지원

8.2K 00

FastGPT는 즉시 사용 가능한 데이터 처리, 모델 호출 및 기타 기능을 제공하는 LLM 모델을 기반으로 하는 지식 기반 Q&A 시스템으로, Circle Cloud 팀에서 개발했습니다. FastGPT는 깃허브에서 19.4천 개의 별을 받았습니다.

실리콘 플로우의 실리콘 클라우드는 자체 가속 엔진을 갖춘 대형 모델 클라우드 서비스 플랫폼으로, 실리콘 클라우드는 사용자가 저렴하고 빠른 방법으로 오픈 소스 모델을 테스트하고 사용할 수 있도록 도와줍니다. 실제 경험에 따르면 모델의 속도와 안정성이 매우 우수하고 언어, 벡터, 재정렬, TTS, STT, 매핑, 비디오 생성 등 수십 가지 모델을 포괄하는 다양성이 풍부하여 FastGPT의 모든 모델 요구를 충족할 수 있습니다.

이 문서는 실리콘클라우드 모델만을 사용하여 로컬 개발에 FastGPT를 배포하는 솔루션을 제시하기 위해 FastGPT 팀에서 작성한 튜토리얼입니다.

1 실리콘클라우드 플랫폼 API 키 얻기

SiliconCloud 웹사이트를 열고 계정을 등록/로그인합니다.
등록을 완료한 후 API 키를 열고 새 API 키를 생성한 후 키를 클릭하여 나중에 사용할 수 있도록 복사합니다.

2 FastGPT 환경 변수 수정하기

OPENAI_BASE_URL=https://api.siliconflow.cn/v1
# 填写 SiliconCloud 控制台提供的 Api Key
CHAT_API_KEY=sk-xxxxxx

FastGPT 개발 및 배포 문서: https://doc.fastgpt.cn

3 FastGPT 구성 파일 수정하기

실리콘클라우드의 모델은 FastGPT 구성으로 선택되었습니다. 여기서는 Qwen2.5 72b를 순수 언어 및 비전 모델로 구성하고, 벡터 모델로 bge-m3를 선택하고, 재배치 모델로 bge-reranker-v2-m3를 선택했습니다. 음성 모델로는 fish-speech-1.5를 선택하고 음성 입력 모델로는 SenseVoiceSmall을 선택합니다.

참고: 리랭크 모델은 여전히 API 키를 사용하여 한 번만 구성해야 합니다.

{
"llmModels": [
{
"provider": "Other", // 模型提供商，主要用于分类展示，目前已经内置提供商包括：https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, 可 pr 提供新的提供商，或直接填写 Other
"model": "Qwen/Qwen2.5-72B-Instruct", // 模型名(对应OneAPI中渠道的模型名)
"name": "Qwen2.5-72B-Instruct", // 模型别名
"maxContext": 32000, // 最大上下文
"maxResponse": 4000, // 最大回复
"quoteMaxToken": 30000, // 最大引用内容
"maxTemperature": 1, // 最大温度
"charsPointsPrice": 0, // n积分/1k token（商业版）
"censor": false, // 是否开启敏感校验（商业版）
"vision": false, // 是否支持图片输入
"datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
"usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
"customExtractPrompt": "", // 自定义内容提取提示词
"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
"defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
"fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
},
{
"provider": "Other",
"model": "Qwen/Qwen2-VL-72B-Instruct",
"name": "Qwen2-VL-72B-Instruct",
"maxContext": 32000,
"maxResponse": 4000,
"quoteMaxToken": 30000,
"maxTemperature": 1,
"charsPointsPrice": 0,
"censor": false,
"vision": true,
"datasetProcess": false,
"usedInClassify": false,
"usedInExtractFields": false,
"usedInToolCall": false,
"usedInQueryExtension": false,
"toolChoice": false,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {}
}
],
"vectorModels": [
{
"provider": "Other",
"model": "Pro/BAAI/bge-m3",
"name": "Pro/BAAI/bge-m3",
"charsPointsPrice": 0,
"defaultToken": 512,
"maxToken": 5000,
"weight": 100
}
],
"reRankModels": [
{
"model": "BAAI/bge-reranker-v2-m3", // 这里的model需要对应 siliconflow 的模型名
"name": "BAAI/bge-reranker-v2-m3",
"requestUrl": "https://api.siliconflow.cn/v1/rerank",
"requestAuth": "siliconflow 上申请的 key"
}
],
"audioSpeechModels": [
{
"model": "fishaudio/fish-speech-1.5",
"name": "fish-speech-1.5",
"voices": [
{
"label": "fish-alex",
"value": "fishaudio/fish-speech-1.5:alex",
"bufferId": "fish-alex"
},
{
"label": "fish-anna",
"value": "fishaudio/fish-speech-1.5:anna",
"bufferId": "fish-anna"
},
{
"label": "fish-bella",
"value": "fishaudio/fish-speech-1.5:bella",
"bufferId": "fish-bella"
},
{
"label": "fish-benjamin",
"value": "fishaudio/fish-speech-1.5:benjamin",
"bufferId": "fish-benjamin"
},
{
"label": "fish-charles",
"value": "fishaudio/fish-speech-1.5:charles",
"bufferId": "fish-charles"
},
{
"label": "fish-claire",
"value": "fishaudio/fish-speech-1.5:claire",
"bufferId": "fish-claire"
},
{
"label": "fish-david",
"value": "fishaudio/fish-speech-1.5:david",
"bufferId": "fish-david"
},
{
"label": "fish-diana",
"value": "fishaudio/fish-speech-1.5:diana",
"bufferId": "fish-diana"
}
]
}
],
"whisperModel": {
"model": "FunAudioLLM/SenseVoiceSmall",
"name": "SenseVoiceSmall",
"charsPointsPrice": 0
}
}