ComfyUI-Copilot: um assistente de IA para geração de descrição de texto Fluxos de trabalho do ComfyUI

Introdução geral

O ComfyUI-Copilot é um nó personalizado orientado por IA projetado para a estrutura ComfyUI, com o objetivo de melhorar a eficiência da depuração e implantação de algoritmos de IA por meio da interação de linguagem natural. Ele foi desenvolvido pela equipe AIDC-AI (Alibaba) e tem código aberto no GitHub, sendo adequado para uma variedade de tarefas, como geração de texto, imagens ou áudio. Seja você um usuário iniciante ou profissional, o ComfyUI-Copilot reduz significativamente o limite de uso e acelera o processo de desenvolvimento por meio de recomendações inteligentes de nós, assistência à criação de fluxo de trabalho e respostas a perguntas em tempo real. A ferramenta combina tecnologia de modelagem de linguagem ampla com consulta de modelos, otimização de parâmetros e diagnóstico de erros, o que a torna um assistente poderoso para os usuários do ComfyUI. Atualmente, ela ganhou grande atenção no GitHub e recebe códigos e sugestões da comunidade.

Procure o ComfyUI-Copilot no ComfyUI Manager e instale-o.

Lista de funções

• interação de linguagem natural: os usuários podem se comunicar com o Copilot em seu idioma cotidiano para acessar rapidamente sugestões de nós ou cenários de fluxo de trabalho.
• Recomendação de nó inteligenteRecomendação automática de ComfyUI nodes adequados com base nos requisitos da tarefa para melhorar a eficiência do trabalho.
• Assistência na criação de fluxo de trabalho: ajuda os usuários a projetar e otimizar processos complexos de tarefas de geração com menos operações manuais.
• Serviço de consulta de modelos:: modelo de base de consulta de suporte e modelo LoRA para atender às necessidades diversificadas de geração.
• Ajuste dos parâmetros de automaçãoDescrição: use algoritmos de aprendizado de máquina para analisar e otimizar os principais parâmetros do fluxo de trabalho.
• Diagnóstico de bugs e sugestões de correção: fornece análise detalhada de erros e soluções para localizar rapidamente os problemas.
• Suporte técnico em tempo real: respostas on-line 24 horas por dia, 7 dias por semana, às perguntas dos usuários em desenvolvimento.

Usando a Ajuda

Processo de instalação

O processo de instalação do ComfyUI-Copilot é simples e direto. Aqui estão as etapas detalhadas:

1. pré-condições
   Certifique-se de que o programa principal ComfyUI esteja instalado. Se ele ainda não estiver instalado, vá paraGitHub oficial da ComfyUIFaça o download e siga as instruções para concluir a configuração.
2. armazém de clones
   Abra um terminal e acesse a seçãonós_personalizadose, em seguida, execute um dos seguintes comandos para clonar o repositório ComfyUI-Copilot:

cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot.git

ou usar SSH:


git clone git@github.com:AIDC-AI/ComfyUI-Copilot.git

3. Instalação via ComfyUI Manager (opcional)
   Se o ComfyUI Manager já estiver instalado, você pode abrir o "Custom Nodes Manager", procurar por "ComfyUI-Copilot" e clicar em "Install". Clique em "Install" para concluir a instalação automaticamente.
4. Iniciar o Copilot.
   Quando a instalação estiver concluída, inicie o ComfyUI e encontre o "Botão de ativação do Copilot" no canto superior direito da interface. Clique nele e o serviço Copilot será ativado.
5. Obter chave de API
   Acesse o link oficial designado (fornecido no README do repositório), digite seu endereço de e-mail e você receberá a chave de API enviada automaticamente mais tarde. Insira a chave na tela de configurações do Copilot para ativar a funcionalidade completa.
6. Verificar a instalação
   Reinicie a ComfyUI e confirme se a interface do Copilot é exibida normalmente e responde à entrada de linguagem natural, indicando que a instalação foi bem-sucedida.

Guia de operação de funções

1. interação de linguagem natural

• procedimento:: insira uma pergunta ou um requisito na interface do Copilot, como "How do I generate high-resolution images?" (Como gerar imagens de alta resolução?) ou "Recommend a text generation node" (Recomendar um nó de geração de texto). ou "Recomendar um nó de geração de texto".
• Detalhes da funçãoCopilot: analisa a entrada e retorna rapidamente sugestões ou instruções de nós. Ideal para iniciantes que querem começar rapidamente ou para usuários avançados que querem otimizar tarefas complexas.
• um exemplo realDigite "Help me design an image super-resolution workflow" (Ajude-me a projetar um fluxo de trabalho de super-resolução de imagem) e o Copilot recomendará nós relevantes e fornecerá sugestões de conexão.

2. recomendação de nó inteligente

• procedimentoDescrição: descreva o objetivo da missão na caixa de diálogo do copiloto, por exemplo, "Need an audio generation node" (Preciso de um nó de geração de áudio).
• Detalhes da função:: Com base no entendimento do Big Language Model, o Copilot listará os nós adaptados com uma breve descrição. Por exemplo, o nó "AudioGen" é recomendado e seu uso é sugerido.
• um exemplo real: Entrada "Qual é o nó ideal para a redução de ruído da imagem?" O copiloto pode sugerir "LatentUpscale" e descrever sua configuração de parâmetros.

3. assistência na construção do fluxo de trabalho

• procedimento:: insira o requisito completo na caixa de diálogo, como "Criar um fluxo de trabalho que gere imagens a partir de texto".
• Detalhes da funçãoO Copilot o guiará passo a passo para adicionar nós e conectá-los, por exemplo, adicione "TextInput" primeiro e, em seguida, conecte "StableDiffusion" e "ImageOutput". ImageOutput".
• um exemplo realSugestão de nó: Após a entrada do usuário, o Copilot retorna uma sugestão visual, e o usuário pode arrastar e soltar o nó recomendado diretamente na tela do ComfyUI.

4. serviço de consulta de modelos

• procedimentoDigite "Query LoRA models suitable for portrait generation" (Consultar modelos LoRA adequados para geração de retratos).
• Detalhes da funçãoCopilot: pesquisa e lista modelos disponíveis, como "portraitLoRA", e fornece links de download ou sugestões de caminhos locais.
• um exemplo real:: Os resultados da consulta podem incluir requisitos de parâmetros do modelo e cenários de aplicação recomendados.

5. ajuste automatizado de parâmetros

• procedimentoDigite "Optimise my image generation parameters" (Otimizar meus parâmetros de geração de imagem) no Copilot.
• Detalhes da funçãoO Copilot analisa o fluxo de trabalho atual, ajusta os principais parâmetros (por exemplo, o número de etapas de amostragem ou os valores de CFG) com base em algoritmos de aprendizado de máquina e mostra comparações antes e depois.
• um exemplo realObservação: depois que o usuário carregar um fluxo de trabalho, o Copilot recomenda ajustar o valor de "denoise" de 0,8 para 0,6 para melhorar a clareza.

6. diagnóstico de erros e recomendações de reparo

• procedimentoQuando o ComfyUI informar um erro, cole a mensagem de erro na caixa de diálogo do Copilot.
• Detalhes da funçãoCopilot analisa os registros de erros e fornece análise da causa e recomendações de reparo. Por exemplo, "memória de vídeo insuficiente" pode sugerir a redução do tamanho do lote.
• um exemplo realErro de tempo de execução: Digite "RuntimeError: CUDA out of memory" e o Copilot recomendará o ajuste da resolução ou a troca de modelos.

7. suporte técnico em tempo real

• procedimento. Sinta-se à vontade para fazer perguntas nas caixas de diálogo, como "Por que minha imagem de saída está preta?". .
• Detalhes da funçãoO Copilot fornece respostas instantâneas que podem indicar que o nó de entrada não está configurado corretamente e fornece uma solução para ajustá-lo.
• um exemplo realObservação: Após uma pergunta do usuário, o Copilot recomenda verificar se o nó "CLIP" está conectado para garantir que o texto seja codificado corretamente.

Dicas e truques

• Faça mais perguntas.O Copilot oferece suporte a um diálogo contínuo que permite o refinamento passo a passo dos requisitos.
• Salvando fluxos de trabalhoObservação: Após concluir o design, lembre-se de salvar o arquivo de fluxo de trabalho para evitar operações repetidas.
• Feedback da comunidadeSe você encontrar problemas, poderá enviar um problema no GitHub, e a equipe e a comunidade responderão positivamente.

Com as etapas e funções acima, os usuários podem começar a usar facilmente o ComfyUI-Copilot e aproveitar a conveniência da assistência inteligente.