ComfyUI-Copilot : un assistant IA pour la génération de descriptions de texte ComfyUI workflows

Introduction générale

ComfyUI-Copilot est un nœud personnalisé piloté par l'IA conçu pour le cadre ComfyUI, visant à améliorer l'efficacité du débogage et du déploiement des algorithmes d'IA grâce à l'interaction avec le langage naturel. Il est développé par l'équipe AIDC-AI (Alibaba) et open source sur GitHub, et convient à une variété de tâches telles que la génération de texte, d'images ou d'audio. Que vous soyez un utilisateur débutant ou professionnel, ComfyUI-Copilot abaisse considérablement le seuil d'utilisation et accélère le processus de développement grâce à des recommandations de nœuds intelligents, à une aide à la construction de flux de travail et à des réponses aux questions en temps réel. L'outil combine la technologie de modélisation des grands langages avec l'interrogation des modèles, l'optimisation des paramètres et le diagnostic des erreurs, ce qui en fait un assistant puissant pour les utilisateurs de ComfyUI. Actuellement, il a gagné une grande attention sur GitHub et accueille les codes et les suggestions de la communauté.

ComfyUI Rechercher les installations de ComfyUI-Copilot dans Manager

Liste des fonctions

• interaction avec le langage naturelLes utilisateurs peuvent communiquer avec Copilot dans leur langue habituelle pour accéder rapidement à des suggestions de nœuds ou à des scénarios de flux de travail.
• Recommandation sur les nœuds intelligentsLes nœuds ComfyUI : recommandent automatiquement les nœuds ComfyUI appropriés en fonction des exigences de la tâche, afin d'améliorer l'efficacité du travail.
• Assistance à l'élaboration de flux de travail: : Aider les utilisateurs à concevoir et à optimiser des processus de production complexes en réduisant le nombre d'opérations manuelles.
• Service d'interrogation de modèles: : Soutenir le modèle de base des requêtes et le modèle LoRA pour répondre à des besoins de production diversifiés.
• Réglage des paramètres d'automatisation: : Utiliser des algorithmes d'apprentissage automatique pour analyser et optimiser les paramètres clés du flux de travail.
• Diagnostic des bugs et suggestions de correction: : Fournit une analyse détaillée des erreurs et des solutions pour localiser rapidement les problèmes.
• Support technique en temps réel: réponses en ligne 24/7 aux questions des utilisateurs dans le cadre du développement.

Utiliser l'aide

Processus d'installation

Le processus d'installation de ComfyUI-Copilot est simple et direct, voici les étapes détaillées :

1. conditions préalables
   Assurez-vous que le programme principal ComfyUI est installé. S'il n'est pas déjà installé, allez àComfyUI Official GitHubTéléchargez et suivez les instructions pour terminer la configuration.
2. entrepôt de clones
   Ouvrez un terminal et allez à la page de ComfyUIcustom_nodespuis exécutez l'une des commandes suivantes pour cloner le dépôt ComfyUI-Copilot :

cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot.git

或使用SSH：


git clone git@github.com:AIDC-AI/ComfyUI-Copilot.git

3. Installation via le ComfyUI Manager (optionnel)
   Si ComfyUI Manager est déjà installé, vous pouvez ouvrir "Custom Nodes Manager", rechercher "ComfyUI-Copilot" et cliquer sur "Install". Cliquez sur "Installer" pour terminer l'installation automatiquement.
4. Démarrer le copilote.
   Une fois l'installation terminée, lancez ComfyUI et trouvez le "bouton d'activation Copilot" dans le coin supérieur droit de l'interface. Cliquez dessus et le service Copilot sera activé.
5. Obtenir la clé API
   Visitez le lien officiel désigné (fourni dans le README du référentiel), entrez votre adresse email, et vous recevrez la clé API automatiquement par la suite. Saisissez la clé dans l'écran de configuration de Copilot pour activer toutes les fonctionnalités.
6. Vérifier l'installation
   Redémarrez ComfyUI et confirmez que l'interface Copilot s'affiche normalement et répond à la saisie en langage naturel, ce qui indique que l'installation a réussi.

Guide d'utilisation des fonctions

1. l'interaction avec le langage naturel

• procédure: : Saisissez une question ou un besoin dans l'interface Copilot, par exemple "Comment puis-je générer des images haute résolution ?" ou "Recommandez un nœud de génération de texte". ou "Recommander un nœud de génération de texte".
• Détails de la fonctionCopilot analyse les données saisies et renvoie rapidement des suggestions de nœuds ou des instructions. Idéal pour les débutants afin de commencer rapidement ou pour les utilisateurs avancés afin d'optimiser les tâches complexes.
• un exemple concretCopilot vous recommandera des nœuds pertinents et vous proposera des connexions.

2. recommandation de nœuds intelligents

• procédure: : Décrivez l'objectif de la mission dans la boîte de dialogue du copilote, par exemple "Need an audio generation node" (Besoin d'un nœud de génération audio).
• Détails de la fonction: : Sur la base de la compréhension du Big Language Model, Copilot énumérera les nœuds adaptés avec une brève description. Par exemple, le nœud "AudioGen" est recommandé et son utilisation est suggérée.
• un exemple concretLe copilote peut suggérer "LatentUpscale" et décrire la configuration de ses paramètres. Le copilote peut suggérer "LatentUpscale" et décrire la configuration de ses paramètres.

3. l'aide à la construction du flux de travail

• procédure: : Saisissez l'exigence complète dans la boîte de dialogue, par exemple "Créer un flux de travail qui génère des images à partir d'un texte".
• Détails de la fonctionLe Copilot vous guidera pas à pas pour ajouter des nœuds et les connecter, par exemple en ajoutant d'abord "TextInput", puis en connectant "StableDiffusion" et "ImageOutput". ImageOutput".
• un exemple concretCopilot : Sur saisie de l'utilisateur, Copilot renvoie une suggestion visuelle, et l'utilisateur peut glisser et déposer le nœud recommandé directement sur le canevas ComfyUI.

4. service d'interrogation de modèles

• procédure: Entrer "Demander des modèles LoRA adaptés à la génération de portraits".
• Détails de la fonctionCopilot recherche et répertorie les modèles disponibles tels que "portraitLoRA" et fournit des liens de téléchargement ou des suggestions de chemins d'accès locaux.
• un exemple concretLes résultats de la recherche peuvent inclure les exigences relatives aux paramètres du modèle et les scénarios d'application recommandés.

5. le réglage automatisé des paramètres

• procédurePour ce faire, il suffit de cliquer sur "Optimiser mes paramètres de génération d'images" dans Copilot.
• Détails de la fonctionLe Copilot analyse le flux de travail actuel, ajuste les paramètres clés (par exemple, le nombre d'étapes d'échantillonnage ou les valeurs CFG) sur la base d'algorithmes d'apprentissage automatique et affiche des comparaisons avant et après.
• un exemple concretCopilot recommande d'ajuster la valeur "denoise" de 0,8 à 0,6 pour améliorer la clarté du flux de travail après son téléchargement par l'utilisateur.

6. diagnostic des erreurs et recommandations de réparation

• procédureLorsque ComfyUI signale une erreur, collez le message d'erreur dans la boîte de dialogue Copilot.
• Détails de la fonctionCopilot analyse les journaux d'erreurs et fournit une analyse des causes et des recommandations de réparation. Par exemple, "mémoire vidéo insuffisante" peut suggérer de réduire la taille du lot.
• un exemple concretDans le cas contraire, Copilot recommandera d'ajuster la résolution ou de changer de modèle.

7. support technique en temps réel

• procédure... : N'hésitez pas à poser des questions dans les boîtes de dialogue telles que "Pourquoi mon image de sortie est-elle noire ? .
• Détails de la fonctionLe Copilot fournit des réponses instantanées qui peuvent indiquer que le nœud d'entrée n'est pas configuré correctement et donner une solution pour l'ajuster.
• un exemple concret: : Suite à une question d'un utilisateur, Copilot recommande de vérifier que le nœud "CLIP" est connecté pour s'assurer que le texte est encodé correctement.

Conseils et astuces

• Posez d'autres questions.Le Copilot favorise un dialogue continu qui permet d'affiner les exigences étape par étape.
• Sauvegarde des flux de travailAprès avoir terminé la conception, n'oubliez pas d'enregistrer le fichier de flux de travail afin d'éviter les opérations répétées.
• Retour d'information de la communautéSi vous rencontrez des problèmes, vous pouvez soumettre un problème sur GitHub, et l'équipe et la communauté y répondront positivement.

Avec les étapes et les fonctions ci-dessus, les utilisateurs peuvent facilement commencer à utiliser le ComfyUI-Copilot et profiter de la commodité d'une assistance intelligente.