ComfyUI-Copilot: un asistente de IA para la generación de descripciones de texto Flujos de trabajo ComfyUI

Introducción general

ComfyUI-Copilot es un nodo personalizado basado en IA diseñado para el marco ComfyUI, con el objetivo de mejorar la eficiencia de la depuración y el despliegue de algoritmos de IA a través de la interacción del lenguaje natural. Está desarrollado por el equipo AIDC-AI (Alibaba) y de código abierto en GitHub, y es adecuado para una variedad de tareas como la generación de texto, imágenes o audio. Ya se trate de un usuario principiante o profesional, ComfyUI-Copilot reduce significativamente el umbral de uso y acelera el proceso de desarrollo mediante recomendaciones inteligentes de nodos, asistencia en la creación de flujos de trabajo y respuesta a preguntas en tiempo real. La herramienta combina la tecnología de modelado de grandes lenguajes con la consulta de modelos, la optimización de parámetros y el diagnóstico de errores, lo que la convierte en un potente asistente para los usuarios de ComfyUI. Actualmente, ha ganado una amplia atención en GitHub y da la bienvenida a código y sugerencias de la comunidad.

ComfyUI Buscar instalaciones de ComfyUI-Copilot en Manager

Lista de funciones

• interacción en lenguaje naturalCopilot: los usuarios pueden comunicarse con Copilot en su idioma habitual para acceder rápidamente a sugerencias de nodos o escenarios de flujos de trabajo.
• Recomendación de nodo inteligenteRecomendación automática de nodos ComfyUI adecuados en función de los requisitos de la tarea para mejorar la eficiencia del trabajo.
• Asistencia en la creación de flujos de trabajo:: Ayudar a los usuarios a diseñar y optimizar procesos complejos de tareas de generación con menos operaciones manuales.
• Servicio de consulta de modelosModelo de base de consulta y modelo LoRA para satisfacer necesidades de generación diversificadas.
• Ajuste de los parámetros de automatización:: Utilice algoritmos de aprendizaje automático para analizar y optimizar los parámetros clave del flujo de trabajo.
• Diagnóstico de errores y sugerencias de solución:: Proporciona análisis detallados de errores y soluciones para localizar rápidamente los problemas.
• Asistencia técnica en tiempo real: Respuestas en línea 24 horas al día, 7 días a la semana, a las preguntas de los usuarios en desarrollo.

Utilizar la ayuda

Proceso de instalación

El proceso de instalación de ComfyUI-Copilot es simple y directo, aquí están los pasos detallados:

1. condiciones previas
   Asegúrate de que el programa principal ComfyUI está instalado. Si no está ya instalado, ve aGitHub oficial de ComfyUIDescárgalo y sigue sus instrucciones para completar la configuración.
2. almacén de clones
   Abre un terminal y ve a ComfyUI'scustom_nodesy ejecuta cualquiera de los siguientes comandos para clonar el repositorio ComfyUI-Copilot:

cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot.git

或使用SSH：


git clone git@github.com:AIDC-AI/ComfyUI-Copilot.git

3. Instalación a través de ComfyUI Manager (opcional)
   Si ComfyUI Manager ya está instalado, puedes abrir "Custom Nodes Manager", buscar "ComfyUI-Copilot" y hacer clic en "Instalar". Haz clic en "Instalar" para finalizar la instalación automáticamente.
4. Iniciar Copiloto.
   Una vez completada la instalación, inicia ComfyUI y encuentra el "Botón de Activación de Copilot" en la esquina superior derecha de la interfaz. Haz clic en él y el servicio Copilot se activará.
5. Obtener clave API
   Visita el enlace oficial designado (proporcionado en el README del repositorio), introduce tu dirección de correo electrónico y recibirás la clave API automáticamente más tarde. Introduzca la clave en la pantalla de configuración de Copilot para activar la funcionalidad completa.
6. Verificar la instalación
   Reinicie ComfyUI y confirme que la interfaz de Copilot se muestra normalmente y responde a la entrada de lenguaje natural, lo que indica que la instalación se ha realizado correctamente.

Guía de funcionamiento

1. Interacción en lenguaje natural

• procedimiento:: Introduzca una pregunta o requisito en la interfaz de Copilot, como "¿Cómo genero imágenes de alta resolución?" o "Recomiende un nodo de generación de texto". o "Recomiende un nodo de generación de texto".
• Detalles de la funciónCopilot analiza la entrada y devuelve rápidamente sugerencias de nodos o instrucciones. Ideal para que los principiantes se inicien rápidamente o los usuarios avanzados optimicen tareas complejas.
• un ejemplo real: Introduzca "Ayúdeme a diseñar un flujo de trabajo de superresolución de imágenes" y Copilot le recomendará nodos relevantes y le proporcionará sugerencias de conexión.

2. Recomendación de nodos inteligentes

• procedimiento:: Describa el objetivo de la misión en el cuadro de diálogo Copiloto, por ejemplo "Necesito un nodo de generación de audio".
• Detalles de la función:: Basándose en la comprensión del Big Language Model, Copilot listará los nodos adaptados con una breve descripción. Por ejemplo, se recomienda el nodo "AudioGen" y se sugiere su uso.
• un ejemplo real: Entrada "¿Cuál es el mejor nodo para la eliminación de ruido de imágenes?" Copilot puede sugerir "LatentUpscale" y describir la configuración de sus parámetros.

3. Ayuda a la construcción del flujo de trabajo

• procedimiento:: Introduzca el requisito completo en el cuadro de diálogo, como "Crear un flujo de trabajo que genere imágenes a partir de texto".
• Detalles de la funciónCopilot" le guiará paso a paso para añadir nodos y conectarlos, por ejemplo, añada primero "TextInput", después conecte "StableDiffusion" e "ImageOutput". SalidaImagen".
• un ejemplo realCopilot: A la entrada del usuario, Copilot devuelve una sugerencia visual, y el usuario puede arrastrar y soltar el nodo recomendado directamente al lienzo de ComfyUI.

4. Servicio de consulta de modelos

• procedimiento: Introduzca "Consultar modelos LoRA adecuados para la generación de retratos".
• Detalles de la funciónCopilot busca y enumera los modelos disponibles, como "portraitLoRA", y ofrece enlaces de descarga o sugerencias de rutas locales.
• un ejemplo real:: Los resultados de la consulta pueden incluir requisitos de parámetros del modelo y escenarios de aplicación recomendados.

5. Ajuste automático de los parámetros

• procedimiento: Introduzca "Optimizar mis parámetros de generación de imágenes" en Copilot.
• Detalles de la funciónCopilot analiza el flujo de trabajo actual, ajusta los parámetros clave (por ejemplo, el número de pasos de muestreo o los valores de CFG) basándose en algoritmos de aprendizaje automático y muestra comparaciones del antes y el después.
• un ejemplo real:: Después de que el usuario cargue un flujo de trabajo, Copilot recomienda ajustar el valor de "eliminación de ruido" de 0,8 a 0,6 para mejorar la claridad.

6. Diagnóstico de errores y recomendaciones de reparación

• procedimientoCuando ComfyUI informa de un error, pega el mensaje de error en el cuadro de diálogo de Copilot.
• Detalles de la funciónCopilot analiza los registros de errores y proporciona análisis de causas y recomendaciones de reparación. Por ejemplo, "memoria de vídeo insuficiente" puede sugerir reducir el tamaño del lote.
• un ejemplo realIntroduzca "RuntimeError: CUDA out of memory" y Copilot le recomendará ajustar la resolución o cambiar de modelo.

7. Asistencia técnica en tiempo real

• procedimiento: No dudes en hacer preguntas en los cuadros de diálogo, como "¿Por qué mi imagen de salida es negra?". .
• Detalles de la función: Copilot proporciona respuestas instantáneas que pueden señalar que el nodo de entrada no está configurado correctamente y dar una solución para ajustarlo.
• un ejemplo real:: A raíz de una pregunta de un usuario, Copilot recomienda comprobar que el nodo "CLIP" está conectado para asegurarse de que el texto se codifica correctamente.

Trucos y consejos

• Haz más preguntas.: Copilot favorece un diálogo continuo que permite afinar los requisitos paso a paso.
• Guardar flujos de trabajo: Después de completar el diseño, recuerde guardar el archivo de flujo de trabajo para evitar operaciones repetidas.
• Comentarios de la comunidadSi tiene problemas, puede enviar una incidencia a GitHub, y el equipo y la comunidad responderán positivamente.

Con los pasos y funciones anteriores, los usuarios pueden empezar a utilizar fácilmente ComfyUI-Copilot y disfrutar de la comodidad de la asistencia inteligente.