Dify Dify Workflow hilft Entwicklern, ihre KI-Ideen schnell umzusetzen, sei es bei der Validierung von Produktprototypen oder bei der Entwicklung von Produktivitäts-Tools.In der neuesten Version 0.10.0 haben wir die lang erwartete Funktion zum Hochladen von Dateien eingeführt, die es Workflow ermöglicht, Dokumente und Audio/Video in verschiedenen Formaten zu verarbeiten und damit die Grenzen der KI-Anwendungsentwicklung weiter zu erweitern.
Diese Funktion ist besonders für die folgenden Szenarien geeignet.
- Dokumentation Q&A: Beantworten Sie Fragen auf der Grundlage hochgeladener Dokumente mit zuverlässigen Quellen.
- Zusammenfassung des Berichts: Destillieren Sie schnell die wichtigsten Punkte aus langen Dokumenten und erstellen Sie Zusammenfassungen.
- Formularbearbeitung: Schnelles Auffinden und Verarbeiten bestimmter Inhalte in verschiedenen Dokumenten oder Tabellenkalkulationen.
Darüber hinaus ebnet die Funktion zum Hochladen von Dateien den Weg für multimodale KI-Anwendungen.Entwickler können nun mühelos komplexe Workflows erstellen, die Bilder, Audio und Video verstehen und verarbeiten und so die Funktionalität und Benutzerfreundlichkeit ihrer Anwendungen erheblich verbessern.
Einfacher Einstieg mit Datei-Upload-Funktion
1. den direkten Datei-Upload ermöglichen
Das Aktivieren von Datei-Uploads ist sehr einfach: Schalten Sie einfach den Schalter für den Datei-Upload in der Funktionsliste ein (standardmäßig ist dies eine Systemvariable). sys.files ). Benutzer können Dateien direkt über das Dialogfeld hochladen, wobei die zuletzt hochgeladene Datei automatisch die vorherige überschreibt. Wenn eine flexible Kontextverwaltung erforderlich ist, können Entwickler die Speicherfunktion aktivieren.
2. benutzerdefinierte Variablen erstellen
Eine andere Möglichkeit besteht darin, benutzerdefinierte Variablen im Startknoten zu erstellen, um das Hochladen einzelner oder mehrerer Dateien zu unterstützen. Nach der Einrichtung zeigt die Benutzeroberfläche das Datei-Upload-Formular an, und die nachfolgenden Dialoge und die Workflow-Verarbeitung drehen sich immer um die hochgeladenen Dateien.
Nach dem Hochladen einer Datei muss diese auch entsprechend dem Dateityp vorverarbeitet werden, damit LLM den Inhalt effektiv verstehen und analysieren kann. Dateien vom Typ Dokument (z. B. TXT, PDF, HTML usw.) erfordern eine Textextraktion im Workflow unter Verwendung des Dokumentenextraktionsknotens, der sie in String-Variablen umwandelt, die dem LLM zur Verfügung stehen. Audio- und Videodateien müssen mit zusätzlichen Werkzeugen kodiert werden, z. B. Audio-zu-Text oder Video-Keyframe-Extraktion. (Es ist erwähnenswert, dass OpenAIs neu veröffentlichtes "gpt-40-audio-preview"-Modell die direkte Verarbeitung von Audio für Inferenz und Dialog unterstützt, was in einer späteren Iteration der Version angepasst werden wird).
In diesem Update haben wir nicht nur einen neuen Dokumentenextraktions- und Listenmanipulationsknoten zum Extrahieren bzw. Filtern von Dateien hinzugefügt, sondern auch die meisten Workflow-Knoten verbessert, siehe Hilfe für weitere Details:
https://docs.dify.ai/zh-hans/guides/workflow/file-upload
Schnelles Erstellen eines AI-Podcasts mithilfe von Dateiuploads
Googles kürzlich eingeführtes KI-Tool, NotebookLM, hat wegen seiner neuen "Audio"-Funktion viel Aufmerksamkeit auf sich gezogen. Es ist in der Lage, lange Inhalte schnell zu analysieren, wichtige Informationen zu extrahieren und Audiozusammenfassungen zu erstellen, die Podcasts ähneln. Das spart den Nutzern nicht nur viel Zeit beim Lesen, sondern erleichtert es ihnen auch, das Wesentliche des Inhalts zu erfassen.
Als Nächstes zeigen wir Ihnen, wie Sie die Funktion zum Hochladen von Dateien und die damit verbundenen Knoten nutzen können, um Dokumente über den Workflow in konversationelle KI-Podcasts zu verwandeln, die so etwas wie die NotebookLM Die Funktion des
Parameterkonfiguration des Startknotens
Erstellen Sie einen neuen Chatablauf, und richten Sie im Startknoten die Datei-Uploads ein und definieren Sie Schlüsselvariablen (wie Ton, Gastgeber, Gäste und Sprache).
- ** Datei **Wählen Sie den Feldtyp "Einzelne Datei", um das Hochladen von Dateien des Typs "Dokument" zu ermöglichen.
- ** Ton :: Benutzer können den Kommunikationsstil des KI-Podcasts mit Hilfe von "Dropdown-Optionen" anpassen, z. B. "Casaul", "Formal", "Humorvoll" und so weiter.
- ** host_name **Wählen Sie den Typ "Text", um den Namen des Moderators einzugeben.
- ** gast_name Wählen Sie den Typ "Text" für die Eingabe des Gastnamens.
- ** Sprache :: **Verwenden Sie eine "Dropdown-Option" mit Optionen für Chinesisch, Englisch, Japanisch usw., um den Nutzern die Auswahl der Sprache des Podcasts zu erleichtern.
Erzeugen von Podcast-Skripten mithilfe des Datei-Extraktors mit LLM-Knoten
Nach erfolgreichem Datei-Upload extrahiert der Dokumentenextraktor den Text in der Variablen ***Datei *** und wandelt unstrukturierte Daten in verarbeitbare Textinhalte um. Anschließend wird der extrahierte Inhalt durch drei LLM-Knoten verarbeitet, um nach und nach das vollständige Podcast-Skript zu erstellen.
1 LLM Analyse des Inputs
Der extrahierte Text wird analysiert, um die für den Podcast erforderlichen Schlüsselinformationen zu destillieren, einschließlich wichtiger Themen, Erzählpunkte, Daten usw., die die Grundlage für die anschließende Erstellung von Podcast-Inhalten bilden.
2) LLM-Skripterzeugungsknoten (Erstellen des Dialogs)
Auf der Grundlage des extrahierten Inhalts und vordefinierter Variablen (wie Tonfall, Sprache, Name des Gastgebers und Name des Gastes) werden natürliche und personalisierte Podcast-Dialogskripte generiert, um sicherzustellen, dass die Interaktionen zwischen Gastgeber und Gast mit den festgelegten Rollen und Stilen übereinstimmen.
3) LLM-Schlussfolgerungsknoten (Schlussfolgerung)
Erstellen Sie eine Podcast-Zusammenfassung, die die wichtigsten Punkte in einem Dialog zwischen dem Moderator und dem Gast zusammenfasst. So wird sichergestellt, dass die Zusammenfassung einen bleibenden Eindruck beim Hörer hinterlässt und zu Denkanstößen oder Handlungsvorschlägen führt.
Durch die Verarbeitung der LLM-Knoten erhalten wir den Podcast-Dialog und die Zusammenfassung.
Zusammenführen von Textblöcken über Vorlagenkonvertierungsknoten
Der Knoten Vorlagenkonvertierung fasst die von den einzelnen LLM-Knoten erzeugten Teilinhalte zu einer vollständigen Ausgabe zusammen und konvertiert sie in ein einheitliches Format, das von nachgeschalteten Tools verwendet werden kann.
- Eingabe: Holen Sie sich die Textabschnitte der beiden LLM-Knoten Craft the Dialogue und Conclusion über die Variablen *** arg1*** und arg2 Führen Sie ein Zitat an.
- Ausgabe: Zusammenführen von *** arg1*** (Dialoginhalt) und *** arg2*** (Zusammenfassung), um ein vollständiges und kohärentes Podcast-Skript zu erstellen, das im String-Format ausgegeben wird, um die Verarbeitung durch nachfolgende Tools zu erleichtern.
Konfiguration und Ausgabe des Podcast-Audiogenerators
Nach Abschluss der Zusammenführung des Textes übergibt das Skript den Knoten für die Vorlagenkonvertierung Ausgabe wird an den Podcast-Audiogenerator übergeben, um die letzte Phase der Audiogenerierung einzuleiten.
Das Tool generiert Podcast-Audio aus einem Textskript, und die Entwickler können Gastgeber- und Gaststimmen (z. B. "Alloy" und "Shimmer") auswählen, um zu bestimmen, wie die Charaktere klingen sollen. Der Podcast-Generator wandelt das erhaltene Skript vollständig in eine Audiodatei um und stellt sie zum Download bereit.
Mit diesen Schritten können Sie ganz einfach lernen, wie Sie mithilfe der Datei-Upload-Funktion AI-Podcasts erstellen können. Wir haben auch eine Vorlage dieser App erstellt und auf der Seite "Erkunden" platziert, damit Sie schnell loslegen und weitere Funktionen erkunden können.
Andere Dinge, die Sie wissen sollten
Bild-Upload-Funktion Offline-Anweisung
1. für die Chatflow-Anwendung:
In der Version v0.10.0 haben wir die ursprüngliche Funktion zum Hochladen von Bildern auf das Hochladen von Dateien ausgeweitet, so dass die App mehr Formate von Dokumenten und Audio-/Video-Dateien verarbeiten kann.
- Die Funktion zum Hochladen von Bildern wurde als Teil des Datei-Uploads integriert. Wenn die Funktion zum Hochladen von Dateien aktiviert ist, können Sie auf Dateien wie z. B. hochgeladene Bilder im Chat-Fenster verweisen, indem Sie ***sys.file *** über den visuellen Variablen-Selektor im LLM-Knoten auswählen.
- Wir haben eine Kompatibilitätsprüfung für ältere Versionen der Anwendung durchgeführt, um sicherzustellen, dass Anwendungen, die die Funktion zum Hochladen von Bildern in früheren Versionen verwendet haben, stabil bleiben.
2. für Workflow-Anwendungen:
- Wir empfehlen, die Dateitypvariable im Startknoten für Datei-Uploads anzupassen, um mehr Dateitypen zu verarbeiten.
- Bitte beachten Sie: Wir werden die alte Funktion zum Hochladen von Bildern und die Systemvariablen in einer zukünftigen Version abschaffen! sys.file .
Weitere Informationen finden Sie in der Hilfedatei:
https://docs.dify.ai/zh-hans/guides/workflow/bulletin
