AI Personal Learning
und praktische Anleitung

Installation von Dify und Integration von Ollama und Xinference

Dieser Artikel beschreibt die Installation von Dify über Docker und die anschließende Integration der Ollama und XInference sowie die Verwendung der Dify Bauen Sie schnell eine wissensbasierte Quiz-Anwendung auf.

  • I. Einführung in Dify
  • Dify Installation
  • III. dify fügt Ollama Model Q&A hinzu
  • IV. wissensbasiertes Quiz von Dify
  • V. Links zur Dokumentation

Installation von Dify und Integration von Ollama und Xinference-1

 

I. Einführung in Dify

Dify ist eine Open-Source-Plattform zur Entwicklung von Large Language Modelling (LLM)-Anwendungen, die Entwicklern helfen soll, generative KI-Anwendungen schnell zu erstellen und einzusetzen. Hier sind die wichtigsten Merkmale und Funktionen von Dify [1]:

  • Fusion von Backend as Service und LLMOps-Konzepten Dify kombiniert die Konzepte von Backend as Service und LLMOps, um Entwicklern die schnelle Erstellung von generativen KI-Anwendungen in Produktionsqualität zu ermöglichen.
  • Unterstützung für mehrere Modelle Dify unterstützt Hunderte von proprietären und Open-Source-LLM-Modellen, darunter GPT, Mistral, Llama3 und andere, und integriert nahtlos Modelle von verschiedenen Inferenzanbietern und selbst gehosteten Lösungen.
  • Intuitive Prompt-Orchestrierungsschnittstelle Dify bietet eine intuitive Prompt-IDE für das Schreiben von Prompts, den Vergleich der Modellleistung und das Hinzufügen zusätzlicher Funktionen wie die Sprachkonvertierung für Chat-basierte Anwendungen.
  • Hochwertiger RAG-Motor Dify hat eine breite Palette von RAG Die Funktionen reichen von der Aufnahme bis zum Abruf von Dokumenten und unterstützen die Textextraktion aus gängigen Dokumentenformaten wie PDF, PPT und anderen.
  • Integration des Agentenrahmens : Der Benutzer kann den LLM-Funktionsaufruf oder die ReAct Definieren Sie Agenten und fügen Sie ihnen vorgefertigte oder benutzerdefinierte Tools hinzu: Dify bietet mehr als 50 integrierte Tools wie Google Search, DELL-E, Stable Diffusion und WolframAlpha.
  • Flexible Ablauforganisation Dify bietet eine leistungsstarke visuelle Oberfläche zum Erstellen und Testen robuster KI-Workflows, mit der Entwickler ihre KI-Prozesse intuitiv gestalten und optimieren können.
  • Umfassende Überwachungs- und Analysetools Dify bietet Tools zur Überwachung und Analyse von Anwendungsprotokollen und -leistung, und Entwickler können Hinweise, Datensätze und Modelle auf der Grundlage von Produktionsdaten und Kommentaren kontinuierlich verbessern.
  • Backend als Dienstleistung Alle Funktionen von Dify sind mit einer API ausgestattet, so dass es einfach ist, Dify in Ihre eigene Geschäftslogik zu integrieren.

Dify Installation

Kopieren Sie den Dify-Github-Code lokal [2].

git https://github.com/langgenius/dify.git klonen.

Wechseln Sie in das Docker-Verzeichnis des Dify-Quellcodes und kopieren Sie die Umgebungsvariablen.

cd dify/Docker
cp .env.example .env

Installieren Sie die Anwendung über docker compose.

Docker komponieren up-d

Geben Sie den ollama-Container ein und starten Sie denqwen2:7bModelle.

Wurzel@ip-172-31-30-167:~/dify/docker# docker pull ollama/ollama
Wurzel@ip-172-31-83-158:~/dify/docker# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always -e OLLAMA_KEEP_ALIVE=-1 ollama/ollama
Wurzel@ip-172-31-83-158:~/dify/docker# docker exec -it ollama bash
Wurzel@b094349fc98c:/# ollama run qwen2:7b

III. dify fügt Ollama Model Q&A hinzu

Melden Sie sich über die öffentliche IP-Adresse von EC2 und Port 80 auf der Dify-Homepage an und erstellen Sie ein Administratorkonto.


Installation von Dify und Integration von Ollama und Xinference-1

 

Melden Sie sich über das Administratorkonto an.

Installation von Dify und Integration von Ollama und Xinference-1

Klicken Sie auf Benutzer - Einstellungen.

Installation von Dify und Integration von Ollama und Xinference-1

 

Fügen Sie das Modell Ollama hinzu.

Installation von Dify und Integration von Ollama und Xinference-1

 

erhöhen.qwen2:7bModell, da Ollama lokal gestartet wird, setzen Sie die URL auf die lokale IP-Adresse und den Port auf die114341(math.) Gattung

"qwen2-7b-instruct unterstützt 131.072 Token von Kontexten unter Verwendung von YARN, einer Technik für die Extrapolation von Modelllängen, und um den normalen Gebrauch und die normale Ausgabe zu gewährleisten, wird empfohlen, dass die API die Benutzereingabe auf 128.000 und die Ausgabe auf ein Maximum von 6.144 begrenzt.

"

Installation von Dify und Integration von Ollama und Xinference-1

 

Klicken Sie auf Studio - Erstellen einer leeren Anwendung

Installation von Dify und Integration von Ollama und Xinference-1

 

Erstellen Sie eine Anwendung des Typs "Chat-Assistent" und legen Sie den Namen der Anwendung aufQwen2-7Bund klicken Sie auf Erstellen.

Installation von Dify und Integration von Ollama und Xinference-1

 

Die Einstellung der Aufforderung "Du bist ein KI-Assistent" für die App kann in Verbindung mit demQwen2:7BEs wurde ein Dialogtest durchgeführt, hier mit dem großen Modell selbst, ohne Einführung einer externen Wissensbasis, die später eingeführt wird, um die Ergebnisse der Antworten zu vergleichen.

Installation von Dify und Integration von Ollama und Xinference-1

 

IV. wissensbasiertes Quiz von Dify

erhöhen.Xorbit-SchlussfolgerungBereitgestellte Modelle.

Installation von Dify und Integration von Ollama und Xinference-1

 

erhöhen.Text einbettend. h. das Modell zur Texteinbettung, der Name des Modells lautetbge-m3Die Server-URL lautethttp://172.31.30.167:9997(hier die IP des lokalen Rechners, es kann auch auf anderen Rechnern installiert werden, Netzwerk und Port erreichbar genügt), hat vorher XInference auf dem lokalen Rechner gestartet, und hat diebge-m3Modell (siehe vorherigen Beitrag).

Installation von Dify und Integration von Ollama und Xinference-1

 

erhöhen.Rerankd. h. das Umlagerungsmodell, der Name des Modells lautetbge-reraker-v2-m3Die Server-URL lautethttp://172.31.30.167:9997(hier die IP des lokalen Rechners, es kann auch auf anderen Rechnern installiert werden, Netzwerk und Port erreichbar genügt), hat vorher XInference auf dem lokalen Rechner gestartet, und hat diebge-reraker-v2-m3Modell (siehe vorherigen Beitrag).

Installation von Dify und Integration von Ollama und Xinference-1

Zeigen Sie die Standardeinstellungen des Systems an.

Installation von Dify und Integration von Ollama und Xinference-1

 

Klicken Sie auf "Knowledge Base" - "Import Existing Text" - "Upload Text File" - wählen Sie das Dokument "Provisions on the Facilitation and Regulation of Transborder Flow of Data".

Installation von Dify und Integration von Ollama und Xinference-1

 

Nach erfolgreichem Import legen Sie die Textabrufmethode fest und schalten dieRerankModell, wählen Siebge-reranker-v2-m3Modell, schalten Sie den StandardErgebnisDer Schwellenwert liegt bei 0,5 (d. h. Textübereinstimmungen unter einem Wert von 0,5 werden nicht abgerufen und nicht in den Kontext des größeren Modells eingefügt).

Installation von Dify und Integration von Ollama und Xinference-1

 

Fügen Sie in der vorherigen Chat-Anwendung die oben erstellte Wissensdatenbank hinzu und stellen Sie die gleiche Frage erneut an das größere Modell, und Sie können sehen, dass das Modell in Verbindung mit der Wissensdatenbank geantwortet hat.

Installation von Dify und Integration von Ollama und Xinference-1

 

Sie können auf "Prompt Log" klicken, um die Protokolldatei einzusehen, und Sie können die Systemaufforderungen einsehen, die den passenden Inhalt der Wissensdatenbank in derMitte.

Installation von Dify und Integration von Ollama und Xinference-1

 

Klicken Sie auf die erstellte Wissensdatenbank - klicken Sie auf den "Recall-Test", können Sie einen Textabsatz eingeben, um den Text in der Wissensdatenbank mit dem übereinstimmenden Text abzugleichen, der übereinstimmende Text hat eine Gewichtungspunktzahl, die oben eingestellte Schwelle ist 0,5, das heißt, größer als diese Punktzahl wird als "Recall-Absatz" angezeigt ".

Installation von Dify und Integration von Ollama und Xinference-1

AI Leichtes Lernen

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>
Darf nicht ohne Genehmigung vervielfältigt werden:Chef-KI-Austauschkreis " Installation von Dify und Integration von Ollama und Xinference

Chef-KI-Austauschkreis

Der Chief AI Sharing Circle konzentriert sich auf das KI-Lernen und bietet umfassende KI-Lerninhalte, KI-Tools und praktische Anleitungen. Unser Ziel ist es, den Nutzern dabei zu helfen, die KI-Technologie zu beherrschen und gemeinsam das unbegrenzte Potenzial der KI durch hochwertige Inhalte und den Austausch praktischer Erfahrungen zu erkunden. Egal, ob Sie ein KI-Anfänger oder ein erfahrener Experte sind, dies ist der ideale Ort für Sie, um Wissen zu erwerben, Ihre Fähigkeiten zu verbessern und Innovationen zu verwirklichen.

Kontaktieren Sie uns
de_DE_formalDeutsch (Sie)