ComfyUI-Copilot: ein KI-Assistent zur Erstellung von Textbeschreibungen ComfyUI-Workflows

Allgemeine Einführung

ComfyUI-Copilot ist ein KI-gesteuerter, benutzerdefinierter Knoten, der für das ComfyUI-Framework entwickelt wurde und darauf abzielt, die Effizienz von Debugging und Einsatz von KI-Algorithmen durch natürlichsprachliche Interaktion zu verbessern. Er wurde vom AIDC-AI-Team (Alibaba) entwickelt und steht auf GitHub als Open Source zur Verfügung. Er eignet sich für eine Vielzahl von Aufgaben wie die Generierung von Text, Bildern oder Audio. Ob Anfänger oder Profi, ComfyUI-Copilot senkt die Einstiegshürde erheblich und beschleunigt den Entwicklungsprozess durch intelligente Knotenempfehlungen, Unterstützung bei der Erstellung von Workflows und Beantwortung von Fragen in Echtzeit. Das Tool kombiniert umfangreiche Sprachmodellierungstechnologie mit Modellabfrage, Parameteroptimierung und Fehlerdiagnose und ist damit ein leistungsstarker Assistent für ComfyUI-Benutzer. Derzeit hat es auf GitHub große Aufmerksamkeit erlangt und begrüßt Code und Vorschläge aus der Community.

Suchen Sie den ComfyUI-Copilot im ComfyUI Manager und installieren Sie ihn.

Funktionsliste

• natürlichsprachliche Interaktion:: Benutzer können mit Copilot in ihrer Alltagssprache kommunizieren, um schnell auf Knotenvorschläge oder Workflow-Szenarien zuzugreifen.
• Smart Node-EmpfehlungComfyUI: Automatische Empfehlung geeigneter ComfyUI-Knoten auf der Grundlage von Aufgabenanforderungen zur Verbesserung der Arbeitseffizienz.
• Unterstützung beim Aufbau von Arbeitsabläufen:: Unterstützung der Benutzer bei der Gestaltung und Optimierung komplexer Erzeugungsprozesse mit weniger manuellen Vorgängen.
• Model Query Service:: Unterstützung des Abfragebasismodells und des LoRA-Modells zur Deckung des diversifizierten Erzeugungsbedarfs.
• Anpassung der Automatisierungsparameter:: Einsatz von Algorithmen des maschinellen Lernens zur Analyse und Optimierung der wichtigsten Workflow-Parameter.
• Fehlerdiagnose und Vorschläge zur Fehlerbehebung:: Bietet eine detaillierte Fehleranalyse und Lösungen, um Probleme schnell zu lokalisieren.
• Technische Unterstützung in Echtzeit: 24/7 Online-Antworten auf Benutzerfragen in der Entwicklung.

Hilfe verwenden

Ablauf der Installation

Der Installationsprozess von ComfyUI-Copilot ist einfach und unkompliziert, hier sind die detaillierten Schritte:

1. Vorbedingungen
   Stellen Sie sicher, dass das ComfyUI-Hauptprogramm installiert ist. Wenn es nicht bereits installiert ist, gehen Sie zuComfyUI Offizieller GitHubLaden Sie das Programm herunter und folgen Sie den Anweisungen, um die Konfiguration abzuschließen.
2. Klon-Lager
   Öffnen Sie ein Terminal und gehen Sie zu ComfyUI'sbenutzerdefinierte_KnotenVerzeichnis und führen Sie dann einen der folgenden Befehle aus, um das ComfyUI-Copilot-Repository zu klonen:

cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot.git

oder SSH verwenden:


git clone git@github.com:AIDC-AI/ComfyUI-Copilot.git

3. Installation über den ComfyUI Manager (optional)
   Wenn ComfyUI Manager bereits installiert ist, können Sie "Custom Nodes Manager" öffnen, nach "ComfyUI-Copilot" suchen und auf "Installieren" klicken. Klicken Sie auf "Installieren", um die Installation automatisch abzuschließen.
4. Copilot starten.
   Sobald die Installation abgeschlossen ist, starten Sie ComfyUI und suchen Sie die "Copilot-Aktivierungsschaltfläche" in der oberen rechten Ecke der Benutzeroberfläche. Klicken Sie darauf und der Copilot-Dienst wird aktiviert.
5. API-Schlüssel abrufen
   Besuchen Sie den offiziell angegebenen Link (in der README des Repositorys), geben Sie Ihre E-Mail-Adresse ein und Sie erhalten den API-Schlüssel später automatisch zugesandt. Geben Sie den Schlüssel in den Copilot-Einstellungsbildschirm ein, um die volle Funktionalität zu aktivieren.
6. Überprüfen der Installation
   Starten Sie ComfyUI neu und bestätigen Sie, dass die Copilot-Benutzeroberfläche normal angezeigt wird und auf Eingaben in natürlicher Sprache reagiert, was eine erfolgreiche Installation anzeigt.

Funktion Betriebsanleitung

1. natürlichsprachliche Interaktion

• Verfahren:: Geben Sie eine Frage oder Anforderung in die Copilot-Schnittstelle ein, z. B. "Wie generiere ich hochauflösende Bilder?" oder "Empfehlen Sie einen Texterzeugungsknoten". oder "Empfehlen Sie einen Textgenerierungsknoten".
• Funktion DetailsCopilot analysiert die Eingaben und gibt schnell Knotenvorschläge oder Anweisungen zurück. Ideal für Anfänger, um schnell loszulegen, oder für fortgeschrittene Benutzer, um komplexe Aufgaben zu optimieren.
• ein aktuelles BeispielGeben Sie "Help me design an image super-resolution workflow" ein und Copilot wird relevante Knoten empfehlen und Verbindungsvorschläge machen.

2. intelligente Knotenempfehlungen

• Verfahren:: Beschreiben Sie das Missionsziel in der Copilot-Dialogbox, z. B. "Benötige einen Audiogenerierungsknoten".
• Funktion Details:: Basierend auf dem Verständnis des Big Language Model listet Copilot die angepassten Knoten mit einer kurzen Beschreibung auf. Zum Beispiel wird der Knoten "AudioGen" empfohlen und seine Verwendung wird vorgeschlagen.
• ein aktuelles BeispielEingabe: "Was ist der optimale Knoten für die Bildentrauschung?" Copilot kann "LatentUpscale" vorschlagen und dessen Parameterkonfiguration beschreiben.

3. die Unterstützung bei der Konstruktion des Arbeitsablaufs

• Verfahren:: Geben Sie die vollständige Anforderung in das Dialogfeld ein, z. B. "Erstellen Sie einen Workflow, der Bilder aus Text erzeugt".
• Funktion DetailsCopilot führt Sie Schritt für Schritt durch das Hinzufügen und Verbinden von Knoten, z. B. fügen Sie zuerst "TextInput" hinzu und verbinden Sie dann "StableDiffusion" und "ImageOutput". ImageOutput".
• ein aktuelles BeispielAuf Benutzereingaben hin gibt Copilot einen visuellen Vorschlag zurück, und der Benutzer kann den empfohlenen Knoten direkt auf die ComfyUI-Leinwand ziehen und ablegen.

4) Modellabfrage-Dienst

• Verfahren: Geben Sie "Abfrage von LoRA-Modellen, die für die Erstellung von Porträts geeignet sind" ein.
• Funktion DetailsCopilot sucht und listet verfügbare Modelle wie "portraitLoRA" auf und bietet Download-Links oder lokale Pfadvorschläge.
• ein aktuelles Beispiel:: Die Abfrageergebnisse können Anforderungen an die Modellparameter und empfohlene Anwendungsszenarien enthalten.

5. automatisierte Einstellung der Parameter

• Verfahren: Geben Sie in Copilot "Optimize my image generation parameters" ein.
• Funktion DetailsCopilot analysiert den aktuellen Arbeitsablauf, passt Schlüsselparameter (z. B. Anzahl der Probenahmeschritte oder CFG-Werte) auf der Grundlage von Algorithmen des maschinellen Lernens an und zeigt Vorher-Nachher-Vergleiche.
• ein aktuelles BeispielCopilot empfiehlt, nach dem Hochladen eines Workflows den Wert für die Rauschunterdrückung von 0,8 auf 0,6 zu setzen, um die Übersichtlichkeit zu verbessern.

6. eine Fehlerdiagnose und Empfehlungen zur Reparatur

• VerfahrenWenn ComfyUI einen Fehler meldet, fügen Sie die Fehlermeldung in das Dialogfeld von Copilot ein.
• Funktion DetailsCopilot analysiert die Fehlerprotokolle und liefert eine Ursachenanalyse sowie Empfehlungen zur Behebung. Zum Beispiel kann "unzureichender Videospeicher" vorschlagen, die Stapelgröße zu verringern.
• ein aktuelles BeispielGeben Sie "RuntimeError: CUDA out of memory" ein und Copilot wird empfehlen, die Auflösung anzupassen oder das Modell zu wechseln.

7. technische Unterstützung in Echtzeit

• VerfahrenSie können in Dialogfeldern Fragen stellen, z. B. "Warum ist mein Ausgabebild schwarz?". .
• Funktion DetailsCopilot liefert sofortige Antworten, die darauf hinweisen, dass der Eingangsknoten nicht richtig konfiguriert ist, und eine Lösung zur Anpassung bieten.
• ein aktuelles Beispiel:: Nach einer Benutzerfrage empfiehlt Copilot zu überprüfen, ob der "CLIP"-Knoten angeschlossen ist, um sicherzustellen, dass der Text korrekt kodiert wird.

Tipps & Tricks

• Stellen Sie weitere Fragen.Copilot unterstützt einen kontinuierlichen Dialog, der eine schrittweise Verfeinerung der Anforderungen ermöglicht.
• Speichern von ArbeitsabläufenNach der Fertigstellung des Entwurfs sollten Sie die Workflow-Datei speichern, um wiederholte Arbeitsschritte zu vermeiden.
• Feedback der GemeinschaftWenn Sie auf Probleme stoßen, können Sie einen Fehler auf GitHub melden, und das Team und die Community werden positiv reagieren.

Mit den oben genannten Schritten und Funktionen können die Benutzer leicht mit ComfyUI-Copilot beginnen und den Komfort der intelligenten Unterstützung genießen.