FoleyCrafter: añade sonido sincronizado a un vídeo mudo

Introducción general

FoleyCrafter es un proyecto de código abierto desarrollado por OpenMMLab para generar efectos de sonido vívidos y sincronizados para vídeos mudos. El proyecto utiliza técnicas avanzadas de inteligencia artificial para analizar el contenido de los vídeos y generar efectos de sonido semánticamente relevantes y sincronizados en el tiempo para mejorar el realismo y la profundidad emocional del vídeo.El objetivo de FoleyCrafter es ofrecer soluciones de sonido de alta calidad para películas, juegos y otros campos con el fin de mejorar la experiencia audiovisual del público.

Síntesis automatizada de flujos de trabajo de locución: https://openart.ai/workflows/t8star/foleycrafter/wZyBSeaa2lvgU3c3NlcH

Lista de funciones

• Generación de vídeo a audioGeneración de efectos sonoros semánticamente relevantes y sincronizados a partir de contenidos de vídeo.
• Generación de sonido de alerta de texto: Genera efectos de sonido específicos para cada escena a partir de pistas de texto.
• alineación temporalAsegúrate de que los efectos de sonido generados están sincronizados con el contenido del vídeo.
• Interfaz Gradio: Proporciona una interfaz fácil de usar para las operaciones de generación de sonido.
• código abierto: Se proporciona una base de código completa para facilitar el desarrollo secundario y la personalización por parte de los desarrolladores.

Utilizar la ayuda

Proceso de instalación

1. Preparar el entorno::
   • Instala el entorno Conda:conda env create -f requirements/environment.yaml
   • Activar el entorno:conda activate foleycrafter
   • Instala Git LFS:conda install git-lfsy luego ejecute git lfs install
2. Descargar Puntos de control::
   • estar en movimiento inference.py Descargue automáticamente los puntos de control, o descárguelos manualmente y colóquelos en el checkpoints Catálogo.
3. Inicio de la interfaz de Gradio::
   • estar en movimiento python app.py --share Inicie la interfaz de Gradio.

Proceso de utilización

1. Generación de vídeo a audio::
   • estar en movimiento python inference.py --save_dir=output/sora/guarda el archivo de audio generado en el directorio especificado.
2. alineación temporal::
   • estar en movimiento python inference.py --temporal_align --input=input/avsync --save_dir=output/avsync/Los efectos sonoros generados se sincronizan con el tiempo del contenido del vídeo.
3. Generación de sonido de alerta de texto::
   • estar en movimiento python inference.py --input=input/PromptControl/case1/ --seed=10201304011203481429 --prompt='noisy, people talking' --save_dir=output/PromptControl/case1_prompt/Los efectos sonoros de una escena concreta se generan a partir de pistas textuales.

Pasos detallados

1. Preparar el entorno::
   • Descargue e instale Conda: https://docs.conda.io/en/latest/miniconda.html
   • Clona el código del proyecto:git clone https://github.com/open-mmlab/foleycrafter.git
   • Vaya al catálogo de proyectos:cd foleycrafter
   • Siga los pasos anteriores para instalar las dependencias y configurar el entorno.
2. Descargar Puntos de control::
   • Descargue y coloque el archivo de punto de control, asegurándose de que la estructura de directorios es la siguiente:

    └── checkpoints
   ├── semantic
   │   ├── semantic_adapter.bin
   ├── vocoder
   │   ├── vocoder.pt
   │   ├── config.json
   ├── temporal_adapter.ckpt
   │   └── timestamp_detector.pth.tar
   

3. Inicio de la interfaz de Gradio::
   • estar en movimiento python app.py --share Inicia la interfaz de Gradio, a la que el usuario puede acceder a través de un navegador.
4. Generar efectos de sonido::
   • Selecciona distintos modos de generación (vídeo a audio, alineación temporal, cue de texto) y ejecuta los comandos correspondientes para generar archivos de sonido según tus necesidades.

Con los pasos anteriores, los usuarios pueden empezar fácilmente a utilizar FoleyCrafter para añadir efectos de sonido vívidos y sincronizados a los vídeos mudos para mejorar la experiencia audiovisual. /n