Director: marco de agentes de vídeo inteligentes para realizar flujos de trabajo de búsqueda, edición y generación de vídeo con descripciones en lenguaje natural.

Introducción general

Director es un marco de código abierto diseñado para simplificar y optimizar las interacciones y los flujos de trabajo de vídeo mediante la creación de agentes de vídeo inteligentes. El marco se basa en la infraestructura Video-as-Data de VideoDB y es capaz de gestionar tareas de vídeo complejas como buscar, editar, compilar y generar, y transmitir los resultados al instante. Los usuarios pueden manipular el agente de vídeo con sencillos comandos de lenguaje natural, como subir vídeos y enviar resúmenes a Slack. director está dirigido a desarrolladores, creadores y equipos que quieran utilizar la IA para agilizar los flujos de trabajo de medios y desbloquear nuevas posibilidades.

Lista de funciones

• Resumen de vídeo: Genere resúmenes de vídeo en cuestión de segundos.
• Generación de vídeo: Genere películas completas con narración a partir de guiones.
• Búsqueda de vídeos: busque e indexe momentos concretos en la mediateca.
• Edición de vídeo: organice y edite fácilmente los contenidos.
• Edición de audio y vídeo: doblaje y edición sencillos de audio y vídeo.
• Traducción de subtítulos: Traduce y añade subtítulos en cualquier idioma.
• Integración con proyectos y API de GenAI: crea y edita contenidos sobre la marcha.
• Añade superposiciones y genera miniaturas.

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/video-db/Director.git
   cd Director
   

2. Ejecute el script de instalación:

   ./setup.sh
   

   Este script instalará Node.js y Python y configurará entornos virtuales para el front-end y el back-end.

3. Configurar variables de entorno:
   compilador .env añadiendo claves API y otras opciones de configuración.

Proceso de utilización

1. Inicie la aplicación:

   make run
   

   • Servidor backend: http://127.0.0.1:8000
   • Servidor front-end: http://127.0.0.1:8080
2. Crear un nuevo agente:
   • Copia de archivos de plantilla sample_agent.py hasta Director/backend/director/agents/ y renombrado.
   • Actualice el nombre de la clase, el nombre del agente y la descripción.
   • Implementación de la lógica proxy, actualización run() Métodos.
   • Maneja la salida y las actualizaciones de estado utilizando el push_update() Envía un evento de progreso.
   • Registrar un nuevo agente en Director/backend/director/handler.py Importe la nueva clase proxy en el directorio self.agents Lista.
3. Servicios de documentación:
   • Documentación del servicio local:

     source backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • Cree la documentación:

     mkdocs build
     

Normas de uso

1. Resumen en vídeoResumen: Después de subir un vídeo, utilice comandos de lenguaje natural para generar un resumen del vídeo. Por ejemplo, escriba "Generar un resumen de este vídeo" y el sistema lo procesará y generará automáticamente.
2. Búsqueda de vídeosBúsqueda: introduce una palabra clave en la barra de búsqueda y el sistema buscará y mostrará los clips relevantes en la videoteca.
3. videoclip: Selecciona un clip de vídeo y edítalo utilizando las herramientas de edición para generar el clip de vídeo deseado.
4. Integración con proyectos GenAI y APIAmpliación de las capacidades de procesamiento de vídeo mediante la integración de otras herramientas de IA a través de interfaces API.
5. Añadir superposiciones y generar miniaturasEn la interfaz de edición de vídeo, selecciona la opción de añadir una capa superpuesta o generar una miniatura, y el sistema se encargará de ello automáticamente.
6. Doblaje de voz y traducción de subtítulosDespués de subir el vídeo, selecciona la función de traducción de doblaje o subtítulos, y el sistema generará automáticamente el doblaje o los subtítulos correspondientes.

Procedimiento de funcionamiento detallado

• Generación de vídeos de síntesis::
  1. Sube un archivo de vídeo.
  2. Introduzca "Generar resumen de vídeo" en el cuadro de entrada de comandos.
  3. Una vez procesado por el sistema, el resumen de vídeo generado se mostrará en el área de resultados.
• Búsqueda de vídeos::
  1. Ir a la página de búsqueda de vídeos.
  2. Introduzca palabras clave en el cuadro de búsqueda.
  3. El sistema busca en la videoteca y muestra los clips coincidentes.
• videoclip::
  1. Seleccione el vídeo que desea editar.
  2. Utilice la herramienta de recorte para seleccionar las horas de inicio y fin.
  3. Haga clic en el botón "Generar clip", el sistema generará y guardará el clip.
• Integración con proyectos GenAI y API::
  1. Vaya a la página Integración API.
  2. Introduzca la clave API y la configuración necesarias.
  3. El sistema integra y habilita automáticamente nuevas funciones.
• Añadir superposiciones y generar miniaturas::
  1. En la página de edición de vídeo, selecciona "Añadir superposición" o "Generar miniatura".
  2. El sistema procesa y aplica automáticamente los cambios.
• Doblaje de voz y traducción de subtítulos::
  1. Sube un archivo de vídeo.
  2. Seleccione la función "Doblaje de voz" o "Traducción de subtítulos".
  3. El sistema genera y aplica automáticamente el doblaje o el subtitulado.