SiliconCloud x FastGPT: Ermöglicht 200.000 Benutzern den Aufbau einer exklusiven KI-Wissensdatenbank

FastGPT ist ein auf dem LLM-Modell basierendes Wissensdatenbank-Q&A-System, das vom Circle Cloud-Team entwickelt wurde und sofort einsatzbereite Datenverarbeitung, Modellaufrufe und andere Funktionen bietet. FastGPT hat 19,4k Sterne auf Github erhalten.

SiliconCloud von Silicon Flow ist eine große Modell-Cloud-Service-Plattform mit einer eigenen Beschleunigungs-Engine. SiliconCloud kann Nutzern helfen, Open-Source-Modelle kostengünstig und schnell zu testen und zu nutzen. Die tatsächliche Erfahrung ist, dass die Geschwindigkeit und Stabilität ihrer Modelle sehr gut sind, und sie sind reich an Vielfalt, die Dutzende von Modellen wie Sprachen, Vektoren, Neuordnung, TTS, STT, Zeichnung, Video-Generierung, etc. abdecken, die alle Modell Bedürfnisse in FastGPT befriedigen können.

Dieser Artikel ist ein Tutorial, das vom FastGPT-Team geschrieben wurde, um eine Lösung für den Einsatz von FastGPT in der lokalen Entwicklung unter ausschließlicher Verwendung von SiliconCloud-Modellen vorzustellen.

1 Beziehen des SiliconCloud-Plattform-API-Schlüssels

1. Öffnen Sie die SiliconCloud-Website und melden Sie sich für ein Konto an.
2. Nach Abschluss der Registrierung öffnen Sie den API-Schlüssel, erstellen einen neuen API-Schlüssel und klicken auf den Schlüssel, um ihn für die zukünftige Verwendung zu kopieren.

2 Ändern der FastGPT-Umgebungsvariablen

OPENAI_BASE_URL=https://api.siliconflow.cn/v1
# Geben Sie den von der SiliconCloud-Konsole bereitgestellten Api-Schlüssel ein
CHAT_API_KEY=sk-xxxxxx

FastGPT Entwicklungs- und Einsatzdokumentation: https://doc.fastgpt.cn

3 Ändern der FastGPT-Konfigurationsdatei

Die Modelle in SiliconCloud wurden als FastGPT-Konfigurationen ausgewählt. Hier wird Qwen2.5 72b mit reinen Sprach- und Sehmodellen konfiguriert; bge-m3 wird als Vektormodell ausgewählt; bge-reranker-v2-m3 wird als Umordnungsmodell ausgewählt. Wählen Sie fish-speech-1.5 als Sprachmodell; wählen Sie SenseVoiceSmall als Spracheingabemodell.

Hinweis: Das ReRank-Modell muss noch einmal mit dem API-Schlüssel konfiguriert werden.

{
"llmModels": [
{
"provider": "Other", // Model-Provider, hauptsächlich für die Anzeige von Kategorien verwendet, hat derzeit eingebaute Provider einschließlich https://github.com/labring/FastGPT/blob/main/packages/global/core/ai/provider.ts, kann pr einen neuen Anbieter bereitstellen oder einfach "Other" eingeben.
"model": "Qwen/Qwen2.5-72B-Instruct", // Modellname (entspricht dem Modellnamen des Kanals in OneAPI)
"Name": "Qwen2.5-72B-Instruct", // Modell-Alias
"maxContext": 32000, // Maximaler Kontext
"maxResponse": 4000, // maxResponse
"quoteMaxToken": 30000, // Maximaler Angebotsinhalt
"maxTemperature": 1, // Maximale Temperatur
"charsPointsPrice": 0, // n Punkte/1k Token (kommerzielle Version)
"censor": false, // ob sensible Zensierung aktiviert werden soll (kommerzielle Version)
"vision": false, // ob Bildeingabe unterstützt wird
"datasetProcess": true, // ob das Textverstehensmodell aktiviert werden soll (QA), stellen Sie sicher, dass mindestens eine der beiden Optionen true ist, sonst meldet die Wissensdatenbank Fehler
"usedInClassify": true, // ob es für die Klassifizierung von Fragen verwendet werden soll (stellen Sie sicher, dass mindestens eine der beiden Optionen true ist)
"usedInExtractFields": true, // ob es für die Extraktion von Inhalten verwendet werden soll (stellen Sie sicher, dass mindestens eines davon true ist)
"usedInToolCall": true, // ob es für Toolaufrufe verwendet werden soll (mindestens einer davon muss true sein)
"usedInQueryExtension": true, // ob es für die Optimierung von Fragen verwendet wird (stellen Sie sicher, dass mindestens eine davon true ist)
"toolChoice": true, // ob Toolauswahl unterstützt wird (wird für Kategorisierung, Inhaltsextraktion, Toolaufrufe verwendet.)
"functionCall": false, // Ob Funktionsaufrufe unterstützt werden oder nicht (wird für Kategorisierung, Inhaltsextraktion und Werkzeugaufrufe verwendet). Zuerst wird toolChoice verwendet, wenn false, dann functionCall, wenn immer noch false, dann prompt word mode)
"customCQPrompt": "", // benutzerdefinierter Prompter für die Kategorisierung von Text (unterstützt keine Tool- und Funktionsaufrufmodelle)
"customExtractPrompt": "", // Benutzerdefinierter Prompter für die Extraktion von Inhalten
"defaultSystemChatPrompt": "", // Standard-System-Chat-Prompt für Dialoge
"defaultConfig": {}, // Einige Standardkonfigurationen (z.B. GLM4's top_p), die bei der Anforderung von APIs als Geisel genommen werden
"fieldMap": {} // field map (o1-Modell muss max_tokens auf max_completion_tokens abbilden)
}, {}
{
"provider": "Other", "model": "Qwen/", {
"model": "Qwen/Qwen2-VL-72B-Instruct", "name": "Qwen2-VL-72B-Instruct", }
"name": "Qwen2-VL-72B-Instruct", "name": "Qwen2-VL-72B-Instruct", "maxContext": 32


"quoteMaxToken": 30000, "maxTemperature": 1.000.000, "maxTemperature": 1.000.000
"maxTemperature": 1, "charsPointsPrice".
"charsPointsPrice": 0, "censor": false, false

"vision": true, "datasetProcess".


"usedInExtractFields": false, "usedInToolCall": false, "usedInToolCall": false

"usedInQueryExtension": false, "toolChoice": false, "usedInExtractFields": false, "usedInToolCall": false, "usedInQueryExtension": false,

"functionCall": false, "customCQPrompt": false
"customCQPrompt": "", "customExtractPrompt": false


"defaultConfig": {}
}
], "vectorModels": [", "defaultConfig": {}
"vectorModels": [
{
"provider": "Andere", "model": "Pro/BAAI/bge-m3", "vectorModels": [ {
"model": "Pro/BAAI/bge-m3", "name": "Pro/BAAI/bge-m3",
"name": "Pro/BAAI/bge-m3", { "name": "Pro/BAAI/bge-m3",
"charsPointsPrice": 0, "defaultToken": 512

"maxToken": 5000, "Gewicht": 100
"gewicht": 100
}
], "reRankModels".
"reRankModels": [
{
"model": "BAAI/bge-reranker-v2-m3", // Das Modell hier muss dem siliconflow Der Modellname des
"name": "BAAI/bge-reranker-v2-m3",
"requestUrl": "https://api.siliconflow.cn/v1/rerank", "requestAuth".
"requestAuth": "key requested on siliconflow"
}
], "audioSpeechModels", "audioSpeechModels
"audioSpeechModels": [
{
"model": "fishaudio/fish-speech-1.5", "name": "fish-speech-1.5", {
"name": "fish-speech-1.5", [ "voices": [ "name": "fish-speech-1.5",
"voices": [
["model": "fish-speech-1.5", "voices": [
"label": "fish-alex", "value": "fish-audio/fish-speech-1.5", "voices": [ {

"bufferId": "fish-alex"
},
{
"label": "fish-anna", "value": "fish-audio", "value": "fish-alex", {
"Wert": "fishaudio/fish-speech-1.5:anna", { "bufferId": "bufferId".
"bufferId": "fish-anna"
},
{
"label": "fish-bella", "value": "fishaudio/fish-speech-1.5:anna", {
"Wert": "fishaudio/fish-speech-1.5:bella", {
"bufferId": "fish-bella"
}, }
{
"label": "fish-benjamin", "value": "fish-audio/fish-speech-1.5:bella", {
"Wert": "fishaudio/fish-speech-1.5:benjamin", {
"bufferId": "fish-benjamin"
}, {
{
"label": "fish-charles", "value": "fish-audio", {
"Wert": "fishaudio/fish-speech-1.5:charles", {
"bufferId": "fish-charles"
}, }
{
"Bezeichnung": "fish-claire", "Wert": "fish-charles", {
"value": "fishaudio/fish-speech-1.5:claire", { "bufferId": "bufferId".
"bufferId": "fish-claire"
},
{
"label": "fish-david", "value": "fish-audio/fish-speech-1.5:claire", {
"Wert": "fishaudio/fish-speech-1.5:david", { "bufferId": "bufferId": "fish-david", {
"bufferId": "fish-david"
},
{
"label": "fish-diana", "value": "fish-audio/fish-speech-1.5:david", {
"value": "fishaudio/fish-speech-1.5:diana", { "bufferId": "bufferId".
"bufferId": "fish-diana"
}
]
}
]
"whisperModel": {
"model": "FunAudioLLM/SenseVoiceSmall",
"name": "SenseVoiceSmall", "charsPointsPrice": 0
"zeichenPunktePreis": 0
}
}

4 FastGPT neu starten

5 Erfahrungstest

Dialog und Bilderkennung testen

Erstellen Sie eine neue einfache Anwendung, wählen Sie das entsprechende Modell und testen Sie es mit aktiviertem Bild-Upload.

Wie Sie sehen können, das Modell der 72B, ist die Leistung sehr schnell, die, wenn es nicht ein paar lokale 4090, ganz zu schweigen von der Konfiguration der Umwelt, ich habe Angst, dass die Ausgabe wird 30s dauern.

Test Wissensbasis-Import und Wissensbasis-Quiz

Erstellen Sie eine neue Wissensbasis (da nur ein Vektormodell konfiguriert ist, wird die Auswahl des Vektormodells nicht auf der Seite angezeigt).

Um eine lokale Datei zu importieren, wählen Sie einfach die Datei aus und gehen Sie auf "Weiter". 79 Indizes, und es dauerte etwa 20 Sekunden, bis der Vorgang abgeschlossen war. Testen wir nun das Quiz der Wissensdatenbank.

Gehen Sie zunächst zurück zu der soeben erstellten Anwendung, wählen Sie Knowledge Base, passen Sie die Parameter an und starten Sie den Dialog.

Sobald der Dialog abgeschlossen ist, klicken Sie unten auf das Zitat, um die Details des Zitats sowie die spezifischen Ergebnisse der Suche und der Neuordnung zu sehen.

Test der Sprachwiedergabe

Fahren Sie in der App fort und suchen Sie auf der linken Seite der Konfiguration nach Voice Play. Klicken Sie darauf, um im Pop-up-Fenster ein Sprachmodell auszuwählen und es auszuprobieren.

Test Spracheingabe

Suchen Sie die Spracheingabe in der Konfiguration auf der linken Seite der App und klicken Sie darauf, um die Spracheingabe im Pop-up-Fenster zu aktivieren.

Wenn Sie die Funktion aktivieren, wird im Dialogeingabefeld ein Mikrofonsymbol angezeigt, auf das Sie für die Spracheingabe klicken können.

Zusammenfassungen

Wenn Sie das Open-Source-Modell schnell ausprobieren oder FastGPT schnell nutzen möchten und nicht alle Arten von API-Schlüsseln bei verschiedenen Dienstanbietern beantragen wollen, dann können Sie das Modell von SiliconCloud für schnelle Erfahrungen wählen.