SoniTranslate: решение для дубляжа видео с открытым исходным кодом, многократный дубляж, регулировка скорости и подражание оригинальному звуку

Общее введение

SoniTranslate - это мощный и удобный инструмент для многоязычного дубляжа видео, предназначенный для перевода видео и синхронизации звука. Он использует передовые технологии распознавания речи и машинного перевода для перевода видеоконтента на несколько языков и синхронизации аудио. Построенный на базе библиотеки Gradio, проект предоставляет удобный веб-интерфейс с поддержкой нескольких языков и различных форматов вывода для создателей контента и пользователей, нуждающихся в многоязычном переводе видео.

Блокнот Colab: https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

Онлайн-демонстрация: https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

Список функций

• видеоперевод: Перевод видеоматериалов на несколько языков.
• синхронизированное аудио: Обеспечьте синхронизацию переведенного звука с видео.
• Поддержка нескольких языков: Поддержка переводов на более чем 80 языков.
• Поколение субтитров: Автоматическое создание переведенных файлов субтитров.
• замена речи: Заменяет оригинальную речь в видео на модель TTS.
• удобный интерфейс: Простой в использовании веб-интерфейс, построенный на базе библиотеки Gradio.
• Несколько форматов выводаПоддерживается вывод форматов MP3, MP4, MKV, WAV и OGG.

Использование помощи

Процесс установки

1. Подготовка среды: Убедитесь, что установлены драйверы NVIDIA и CUDA 11.8.0.
2. Установите FFmpeg: Для обработки видео- и аудиофайлов.
3. Установите SoniTranslate::
   • Клонируйте репозиторий GitHub:git clone https://github.com/R3gm/SoniTranslate.git
   • Перейдите в каталог проектов:cd SoniTranslate
   • Создайте и активируйте среду Conda:conda create -n sonitr python=3.8(математика) родconda activate sonitr
   • Установите зависимость:pip install -r requirements.txt
4. Запуск приложения::
   • Запустите приложение:python app_rvc.py
   • Откройте браузер для доступа к локальному URL: http://127.0.0.1:7860.

Процесс использования

1. Загрузить видео: Загрузите видеофайл для перевода в веб-интерфейс.
2. Выберите язык: Выбор целевого языка для перевода.
3. Параметры конфигурации: При необходимости настройте такие параметры, как создание субтитров, замена речи и т. д.
4. Начать перевод: Нажмите кнопку "Начать перевод" и дождитесь завершения перевода.
5. Результаты загрузки: Загрузите переведенный видео-, аудиофайл или файл субтитров после завершения перевода.

Подробные шаги

1. Загрузить видео: Нажмите кнопку "Загрузить видео", чтобы выбрать локальный видеофайл для загрузки.
2. Выберите язык: Выберите язык для перевода в раскрывающемся меню "Целевой язык".
3. Параметры конфигурации::
   • Поколение субтитров: Отметьте опцию "Генерировать субтитры", и система автоматически создаст файлы субтитров с переводом.
   • замена речи: Отметив опцию "Замена голоса", система заменит оригинальный голос в видео на модель TTS.
4. Начать перевод: Нажмите кнопку "Начать перевод", и система начнет обрабатывать видео и переводить его.
5. Посмотреть прогресс: Проверьте текущий ход перевода в столбце "Ход перевода" и дождитесь завершения перевода.
6. Результаты загрузки: После завершения перевода нажмите кнопку "Загрузить", выберите нужный формат вывода (MP3, MP4, MKV, WAV или OGG) и загрузите полученный файл.