Director: estrutura de agente de vídeo inteligente para executar fluxos de trabalho de pesquisa, edição e geração de vídeo com descrições de linguagem natural

Introdução geral

O Director é uma estrutura de código aberto projetada para simplificar e otimizar as interações e os fluxos de trabalho de vídeo por meio da criação de agentes de vídeo inteligentes. A estrutura é baseada na infraestrutura de vídeo como dados do VideoDB e é capaz de lidar com tarefas complexas de vídeo, como pesquisa, edição, compilação e geração, além de transmitir os resultados instantaneamente. Os usuários podem manipular o agente de vídeo com comandos simples de linguagem natural, como o upload de vídeos e o envio de destaques para o Slack. O director é voltado para desenvolvedores, criadores e equipes que desejam usar a IA para simplificar os fluxos de trabalho de mídia e desbloquear novas possibilidades.

Lista de funções

• Resumo do vídeo: gere resumos de vídeos em segundos.
• Geração de vídeo: gere filmes completos com narração a partir de scripts.
• Pesquisa de vídeo: pesquise e indexe momentos específicos na biblioteca de mídia.
• Edição de vídeo: organize e edite facilmente o conteúdo.
• Edição de áudio e vídeo: dublagem e edição fáceis de áudio e vídeo.
• Tradução de legendas: traduza e adicione legendas em qualquer idioma.
• Integração com projetos e APIs do GenAI: crie e edite conteúdo em tempo real.
• Adicione sobreposições e gere miniaturas.

Usando a Ajuda

Processo de instalação

1. Armazém de Clonagem:

   git clone https://github.com/video-db/Director.git
   cd Director
   

2. Execute o script de instalação:

   . /setup.sh
   

   Esse script instalará o Node.js e o Python e configurará ambientes virtuais para o front-end e o back-end.

3. Configurar variáveis de ambiente:
   compilador .env adicionando chaves de API e outras opções de configuração.

Processo de uso

1. Inicie o aplicativo:

   fazer funcionar
   

   • Servidor de back-end: http://127.0.0.1:8000
   • Servidor front-end: http://127.0.0.1:8080
2. Criar um novo agente:
   • Cópia de arquivos de modelo sample_agent.py até diretor/backend/diretor/agentes/ e renomeado.
   • Atualize o nome da classe, o nome do agente e a descrição.
   • Implementação da lógica de proxy, atualização executar() Métodos.
   • Lida com atualizações de saída e status usando o push_update() Envia um evento de progresso.
   • Registre um novo agente em Director/backend/director/handler.py Importe a nova classe proxy no arquivo self.agents Lista.
3. Serviços de documentação:
   • Documentação de serviço local:

     fonte backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • Crie a documentação:

     mkdocs build
     

Diretrizes para uso

1. Resumo do vídeoApós o upload de um vídeo, use comandos de linguagem natural para gerar um resumo do vídeo. Por exemplo, digite "Generate a summary of this video" (Gerar um resumo deste vídeo) e o sistema processará e gerará automaticamente um resumo.
2. Pesquisa de vídeoDigite uma palavra-chave na barra de pesquisa e o sistema pesquisará e exibirá os clipes relevantes na biblioteca de vídeos.
3. clipe de vídeoSelecione um clipe de vídeo e edite-o usando as ferramentas de edição para gerar o clipe de vídeo desejado.
4. Integração com projetos e APIs do GenAIAmpliação dos recursos de processamento de vídeo com a integração de outras ferramentas de IA por meio de interfaces de API.
5. Adição de sobreposições e geração de miniaturasNa interface de edição de vídeo, selecione a opção de adicionar uma camada de sobreposição ou gerar uma miniatura, e o sistema tratará disso automaticamente.
6. Dublagem de voz e tradução de legendasTradução: Após carregar o vídeo, selecione a função de tradução de dublagem ou legenda, e o sistema gerará automaticamente a dublagem ou a legenda correspondente.

Procedimento de operação detalhado

• Geração de resumo de vídeo::
  1. Faça upload de um arquivo de vídeo.
  2. Digite "Generate Video Summary" (Gerar resumo do vídeo) na caixa de entrada de comando.
  3. Após o processamento pelo sistema, o resumo do vídeo gerado será exibido na área de resultados.
• Pesquisa de vídeo::
  1. Vá para a página de pesquisa de vídeos.
  2. Digite palavras-chave na caixa de pesquisa.
  3. O sistema pesquisa na biblioteca de vídeos e exibe os clipes correspondentes.
• clipe de vídeo::
  1. Selecione o vídeo que deseja editar.
  2. Use a ferramenta de clipe para selecionar os horários de início e término.
  3. Clique no botão "Generate Clip" (Gerar clipe) para que o sistema gere e salve o clipe.
• Integração com projetos e APIs do GenAI::
  1. Vá para a página de integração da API.
  2. Digite a chave de API e a configuração necessárias.
  3. O sistema integra e habilita automaticamente novos recursos.
• Adição de sobreposições e geração de miniaturas::
  1. Na página de edição de vídeo, selecione "Add Overlay" (Adicionar sobreposição) ou "Generate Thumbnail" (Gerar miniatura).
  2. O sistema processa e aplica automaticamente as alterações.
• Dublagem de voz e tradução de legendas::
  1. Faça upload de um arquivo de vídeo.
  2. Selecione a função "Voice Dubbing" (Dublagem de voz) ou "Subtitle Translation" (Tradução de legendas).
  3. O sistema gera e aplica automaticamente a dublagem ou a legendagem.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>