Was sind die Vorteile der privaten DIfy-Bereitstellung?

Dify ist eine Engine und Entwicklungsplattform für KI-Anwendungen.

Wenn Sie eine KI-Anwendung auf Unternehmensebene oder eine intelligente Körperanwendung entwickeln müssen, gibt es im Allgemeinen mehrere Möglichkeiten:

- Schreiben Sie den gesamten Code selbst und verbinden Sie sich mit allen Arten von API-Schnittstellen der großen Modellanbieter.

- Verwenden Sie einige der SDKs, die eine Kapselungsschicht haben, wie z. B. das AI SDK von Vercel.

- Verwenden Sie eine KI-App-Entwicklungsplattform wie Dify.

Produkte, die Dify am ähnlichsten sind, haben "Schnalle". Button ist jedoch ein reines Cloud-SaaS, das sich nicht ganz für die Übernahme und Bereitstellung an Kunden als Teil einer Lösung eignet. Daher ist Dify mit seinem offenen Quellcode und der einfachen privaten Bereitstellung die bessere Wahl.

Die Dify-Lizenz ist im Handel erhältlich

Obwohl Dify das Apache Open-Source-Protokoll verwendet, gibt es einige zusätzliche Einschränkungen für die kommerzielle Nutzung:

(1) Dienste mit mehreren Mandanten sind nicht zulässig;

(2) Änderungen des Logos und der Copyright-Informationen der Dify Web Console Schnittstelle sind nicht erlaubt.

Insgesamt ist dieses Open-Source-Protokoll noch sehr locker. Solange Sie für jeden Unternehmenskunden einen eigenen Satz bereitstellen und ihn nicht die Dify Web Console verwenden lassen, verstoßen Sie nicht dagegen.

Mit anderen Worten: Sie können die Smartbody-Anwendung erstellen, ohne eine einzige Zeile Code zu schreiben, indem Sie die Visualisierungstools der Dify Web Console verwenden, und dann die automatisch generierten APIs in Ihre eigene Lösung integrieren.

Muss ich Dify für mein Projekt verwenden?

Sie müssen nicht unbedingt Dify verwenden, um eine Smart-Body-Anwendung zu entwickeln; im Grunde können Sie die APIs von OpenAI genauso gut in ein altes Java 8- und Spring Boot-Backend integrieren.

Es gibt jedoch einige Merkmale von Smart-Body-Anwendungen, die zu einer ständigen Fehlersuche bei Stichwörtern und der Verarbeitung von Wissensdatenbanken führen. Die Verwendung von Dify kann die Entwicklungserfahrung und -effizienz erheblich verbessern. Man kann nicht einfach die Prompts ändern und eine neue Version veröffentlichen.

Das Dify-Backend wurde in Python entwickelt, da für die meisten KI-bezogenen Komponenten Python-Pakete direkt verfügbar sind. Im Gegensatz zu Java-Backends, die in Unternehmensanwendungen üblich sind, wird empfohlen, dass sie eigenständig und getrennt von den Geschäftsclustern eingesetzt werden.

Dify-Komponenten-Übersicht

Dify verwendet eine gemeinsame Architektur zur Trennung von Front-End und Back-End, mit einer sehr großen Anzahl von Komponenten und recht flexiblen Einsatzmethoden.

Die von der offiziellen Dify-Website empfohlene Docker Compose-Bereitstellungslösung kann nur für die lokale Entwicklung und für Erfahrungen verwendet werden. In einer Produktionsumgebung sollten Sie K8s oder andere hochverfügbare Bereitstellungslösungen entsprechend Ihren Anforderungen verwenden.

Am Beispiel von Dify Version 0.15.3 werden für den Einsatz in einer Produktionsumgebung die folgenden Komponenten benötigt:

wesentlicher Bestandteil

- API

- Arbeiter

- Netz

grundlegende Komponente

- Postgres

- Redis

- Sandkasten

- ssrf_proxy

- Zertifizierungsstelle

- nginx

- wellenförmig

Die Beziehung zwischen den Komponenten ist im Folgenden dargestellt

Detaillierte Beschreibung der architektonischen Schichtung

hinteres Ende

Das Backend von Dify umfasst

- api", der mit gunicorn gestartete Python-Flask-Dienst;

- worker", der mit celery gestartet wird, konsumiert asynchrone Aufgaben aus der redis-Warteschlange. Bei diesen Aufgaben handelt es sich um Dinge wie den Import von Dataset-Dateien und die Aktualisierung von Dataset-Dokumenten.

vorderer Teil von etw.

Das Frontend "Web" wird mit Next.js entwickelt. Es wird mit pm2 (node) gebaut und gestartet.

Zugangsschicht

Nginx wird verwendet, um Webanfragen an die API oder das Web weiterzuleiten, und certbot wird verwendet, um HTTPS-Zertifikate automatisch zu verwalten.

Speicherschicht

Die Speicherschicht von Dify verwendet

- Relationale Datenbank PostgreSQL

- NoSQL-Datenbank/Cache Redis

- VektordatenbankDie Standardeinstellung ist Weaviate.

Sicherheit

Dify, als Plattform für die Anwendungsentwicklung, ist als visuelles Werkzeug zur Orchestrierung von Workflow-Knoten für die Verarbeitung von Geschäftslogik verfügbar.

Der Workflow-Knoten erlaubt es dem Benutzer, Python/NodeJS-Code auszuführen, so dass ein Sandbox-Mechanismus erforderlich ist, um den Benutzer von der Durchführung risikoreicher Operationen abzuhalten.

Die folgenden zwei Module sind betroffen

- "Sandkasten" wurde in Go entwickelt.

- ssrf_proxy" ist ein mit Squid konfigurierter Netzwerkanschluss.

Vergleich mit LangChain

LangChain ist das älteste Framework zur Entwicklung von LLM-Anwendungen. Wie Sie aus der Abbildung unten ersehen können, übertrifft Dify LangChain in jedem Aspekt.

Privater Einsatz von Dify in Produktionsumgebungen

Wenn Sie KI-Anwendungen für Ihre Kunden anpassen und KI-Lösungen für vertikale Branchen anbieten möchten, sollten Sie den privaten Einsatz von Dify in einer Produktionsumgebung in Betracht ziehen.

Aus den folgenden zwei Gründen kann es auch notwendig sein, den Code von Dify zu ändern und stark anzupassen:

1. die internen Daten des Unternehmens zu erschließen, insbesondere die strukturierten internen Daten in eine Form zu bringen, die genutzt werden kann, um RAG der Wissensbasis.

2. die Anmeldeauthentifizierung zu öffnen, damit die Intelligenzen ihre eigene Identität verstehen und personalisierte Dienste anbieten können.