SiliconCloud x FastGPT: создание эксклюзивной базы знаний по искусственному интеллекту для 200 000 пользователей

FastGPT - это система вопросов и ответов для баз знаний на основе модели LLM, разработанная командой Circle Cloud, которая обеспечивает обработку данных из коробки, вызов модели и другие возможности. FastGPT получил 19,4 тыс. звезд на Github.

SiliconCloud компании Silicon Flow - это большая платформа облачного сервиса моделей с собственным движком ускорения, SiliconCloud может помочь пользователям тестировать и использовать модели с открытым исходным кодом недорого и быстро. Фактический опыт показывает, что скорость и стабильность их моделей очень хороши, и они богаты разнообразием, охватывая десятки моделей, таких как языки, векторы, переупорядочивание, TTS, STT, картография, генерация видео и т. д., которые могут удовлетворить все потребности в моделях в FastGPT.

Эта статья - учебное пособие, написанное командой FastGPT и представляющее решение для развертывания FastGPT в локальной разработке с использованием исключительно моделей SiliconCloud.

1 Получение ключа API платформы SiliconCloud

1. Откройте веб-сайт SiliconCloud и зарегистрируйтесь/ войдите в учетную запись.
2. После завершения регистрации откройте API Key, создайте новый API Key и нажмите на ключ, чтобы скопировать его для дальнейшего использования.

2 Изменение переменных окружения FastGPT

OPENAI_BASE_URL=https://api.siliconflow.cn/v1
# 填写 SiliconCloud 控制台提供的 Api Key
CHAT_API_KEY=sk-xxxxxx

Документация по разработке и развертыванию FastGPT: https://doc.fastgpt.cn

3 Изменение конфигурационного файла FastGPT

Модели в SiliconCloud были выбраны в качестве конфигураций FastGPT. Здесь Qwen2.5 72b сконфигурирован с моделями чистого языка и зрения; в качестве векторной модели выбрана bge-m3; в качестве модели перестановки - bge-reranker-v2-m3. В качестве модели речи выберите fish-speech-1.5; в качестве модели речевого ввода выберите SenseVoiceSmall.

Примечание: модель ReRank все еще необходимо настроить с помощью ключа API один раз.

{
"llmModels": [
{
"provider": "Other", // 模型提供商，主要用于分类展示，目前已经内置提供商包括：https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, 可 pr 提供新的提供商，或直接填写 Other
"model": "Qwen/Qwen2.5-72B-Instruct", // 模型名(对应OneAPI中渠道的模型名)
"name": "Qwen2.5-72B-Instruct", // 模型别名
"maxContext": 32000, // 最大上下文
"maxResponse": 4000, // 最大回复
"quoteMaxToken": 30000, // 最大引用内容
"maxTemperature": 1, // 最大温度
"charsPointsPrice": 0, // n积分/1k token（商业版）
"censor": false, // 是否开启敏感校验（商业版）
"vision": false, // 是否支持图片输入
"datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
"usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
"usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
"usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
"usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
"toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。）
"functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
"customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
"customExtractPrompt": "", // 自定义内容提取提示词
"defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
"defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
"fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
},
{
"provider": "Other",
"model": "Qwen/Qwen2-VL-72B-Instruct",
"name": "Qwen2-VL-72B-Instruct",
"maxContext": 32000,
"maxResponse": 4000,
"quoteMaxToken": 30000,
"maxTemperature": 1,
"charsPointsPrice": 0,
"censor": false,
"vision": true,
"datasetProcess": false,
"usedInClassify": false,
"usedInExtractFields": false,
"usedInToolCall": false,
"usedInQueryExtension": false,
"toolChoice": false,
"functionCall": false,
"customCQPrompt": "",
"customExtractPrompt": "",
"defaultSystemChatPrompt": "",
"defaultConfig": {}
}
],
"vectorModels": [
{
"provider": "Other",
"model": "Pro/BAAI/bge-m3",
"name": "Pro/BAAI/bge-m3",
"charsPointsPrice": 0,
"defaultToken": 512,
"maxToken": 5000,
"weight": 100
}
],
"reRankModels": [
{
"model": "BAAI/bge-reranker-v2-m3", // 这里的model需要对应 siliconflow 的模型名
"name": "BAAI/bge-reranker-v2-m3",
"requestUrl": "https://api.siliconflow.cn/v1/rerank",
"requestAuth": "siliconflow 上申请的 key"
}
],
"audioSpeechModels": [
{
"model": "fishaudio/fish-speech-1.5",
"name": "fish-speech-1.5",
"voices": [
{
"label": "fish-alex",
"value": "fishaudio/fish-speech-1.5:alex",
"bufferId": "fish-alex"
},
{
"label": "fish-anna",
"value": "fishaudio/fish-speech-1.5:anna",
"bufferId": "fish-anna"
},
{
"label": "fish-bella",
"value": "fishaudio/fish-speech-1.5:bella",
"bufferId": "fish-bella"
},
{
"label": "fish-benjamin",
"value": "fishaudio/fish-speech-1.5:benjamin",
"bufferId": "fish-benjamin"
},
{
"label": "fish-charles",
"value": "fishaudio/fish-speech-1.5:charles",
"bufferId": "fish-charles"
},
{
"label": "fish-claire",
"value": "fishaudio/fish-speech-1.5:claire",
"bufferId": "fish-claire"
},
{
"label": "fish-david",
"value": "fishaudio/fish-speech-1.5:david",
"bufferId": "fish-david"
},
{
"label": "fish-diana",
"value": "fishaudio/fish-speech-1.5:diana",
"bufferId": "fish-diana"
}
]
}
],
"whisperModel": {
"model": "FunAudioLLM/SenseVoiceSmall",
"name": "SenseVoiceSmall",
"charsPointsPrice": 0
}
}

4 Перезагрузите FastGPT

5 Испытание опытом

Проверьте диалог и распознавание картинок

Создайте новое простое приложение, выберите соответствующую модель и протестируйте его с включенной загрузкой изображений.

Как вы можете видеть, модель 72B, производительность очень быстрая, которая, если есть не несколько локальных 4090, не говоря уже о конфигурации среды, я боюсь, что выход займет 30s.

Тест Импорт базы знаний и викторина База знаний

Создайте новую базу знаний (поскольку настроена только одна векторная модель, выбор векторной модели не будет отображаться на странице).

Чтобы импортировать локальный файл, просто выберите его и перейдите к следующему пункту. 79 индексов, и все это заняло около 20 секунд. Теперь давайте проверим викторину по Базе знаний.

Сначала вернитесь в приложение, которое мы только что создали, выберите Knowledge Base, настройте параметры и запустите диалог.

После завершения диалога нажмите на цитату внизу, чтобы просмотреть подробности цитаты, а также увидеть конкретные оценки поиска и упорядочивания.

Тестовое воспроизведение голоса

Продолжая работать в приложении, найдите Voice Play в левой части конфигурации и нажмите на него, чтобы выбрать голосовую модель во всплывающем окне и опробовать ее.

Ввод языка тестирования

Найдите в левой части приложения голосовой ввод и нажмите на него, чтобы включить языковой ввод во всплывающем окне.

Когда он включен, в поле ввода диалога появится значок микрофона, на который можно нажать для голосового ввода.

резюме

Если вы хотите быстро освоить модель с открытым исходным кодом или быстро использовать FastGPT и не хотите обращаться за всеми видами API-ключей к различным поставщикам услуг, то вы можете выбрать модель SiliconCloud для быстрого опыта.