FoleyCrafter: добавление яркого синхронизированного звука в беззвучное видео

Общее введение

FoleyCrafter - это проект с открытым исходным кодом, разработанный OpenMMLab для создания ярких и синхронизированных звуковых эффектов для немого видео. Проект использует передовые методы искусственного интеллекта для анализа видеоконтента и генерации семантически релевантных и синхронизированных по времени звуковых эффектов для повышения реалистичности и эмоциональной глубины видео. Цель FoleyCrafter - предоставить высококачественные звуковые решения для фильмов, игр и других областей, чтобы улучшить аудиовизуальное восприятие зрителей.

Автоматизированный синтез рабочих процессов озвучивания: https://openart.ai/workflows/t8star/foleycrafter/wZyBSeaa2lvgU3c3NlcH

Список функций

• Генерация видео в аудио: Генерирование семантически релевантных и синхронизированных звуковых эффектов на основе видеоконтента.
• Генерация звукового сигнала текстового оповещения: Генерируйте звуковые эффекты для конкретной сцены на основе текстовых подсказок.
• выравнивание времени: Убедитесь, что создаваемые звуковые эффекты синхронизированы по времени с видеоматериалом.
• Интерфейс Gradio: Предоставляет удобный интерфейс для работы с генераторами звука.
• открытый исходный код: Предоставляется полная база кода для облегчения вторичного развития и настройки разработчиками.

Использование помощи

Процесс установки

1. Подготовка среды::
   • Установите среду Conda:conda env create -f requirements/environment.yaml
   • Активируйте окружающую среду:conda activate foleycrafter
   • Установите Git LFS:conda install git-lfsа затем запустите git lfs install
2. Скачать Контрольные точки::
   • быть в движении inference.py Автоматически загружайте контрольные точки или вручную загружайте и помещайте их в checkpoints Каталог.
3. Запуск интерфейса Gradio::
   • быть в движении python app.py --share Запустите интерфейс Gradio.

Процесс использования

1. Генерация видео в аудио::
   • быть в движении python inference.py --save_dir=output/sora/Сохраните созданный аудиофайл в указанном каталоге.
2. выравнивание времени::
   • быть в движении python inference.py --temporal_align --input=input/avsync --save_dir=output/avsync/Создаваемые звуковые эффекты синхронизируются со временем видеоматериала.
3. Генерация звукового сигнала текстового оповещения::
   • быть в движении python inference.py --input=input/PromptControl/case1/ --seed=10201304011203481429 --prompt='noisy, people talking' --save_dir=output/PromptControl/case1_prompt/Звуковые эффекты генерируются для определенных сцен на основе текстовых подсказок.

Подробные шаги

1. Подготовка среды::
   • Загрузите и установите Conda: https://docs.conda.io/en/latest/miniconda.html.
   • Клонируйте код проекта:git clone https://github.com/open-mmlab/foleycrafter.git
   • Перейдите в каталог проектов:cd foleycrafter
   • Выполните описанные выше шаги для установки зависимостей и настройки среды.
2. Скачать Контрольные точки::
   • Загрузите и разместите файл контрольной точки, убедившись, что структура каталогов выглядит следующим образом:

    └── checkpoints
   ├── semantic
   │   ├── semantic_adapter.bin
   ├── vocoder
   │   ├── vocoder.pt
   │   ├── config.json
   ├── temporal_adapter.ckpt
   │   └── timestamp_detector.pth.tar
   

3. Запуск интерфейса Gradio::
   • быть в движении python app.py --share Запускает интерфейс Gradio, доступ к которому пользователь может получить через браузер.
4. Создавайте звуковые эффекты::
   • Выберите различные режимы генерации (видео в аудио, выравнивание по времени, текстовая подсказка) и запустите соответствующие команды для создания звуковых файлов в соответствии с вашими потребностями.

Выполнив описанные выше действия, пользователи смогут легко начать работу с FoleyCrafter, чтобы добавить яркие и синхронизированные звуковые эффекты в беззвучные видеоролики для улучшения аудиовизуальных впечатлений. /n