VideoLingo: транскрипция видео на уровне слов, перевод субтитров и локализованный дубляж с открытым исходным кодом.

Общее введение

VideoLingo - это универсальный инструмент для перевода и дублирования видео, предназначенный для создания субтитров качества Netflix, устранения жесткого машинного перевода и многострочных титров, а также добавления высококачественных закадровых голосов, чтобы глобальные знания могли распространяться через языковые барьеры. С помощью интуитивно понятного веб-интерфейса Streamlit пользователи могут легко создавать локализованные видеоролики качества Netflix всего за два щелчка мыши - от ссылки на видео до встроенных высококачественных двуязычных субтитров и даже закадрового голоса.

Более интегрированный инструмент, но процесс транскрипции не такой подробный, как в этом инструменте:pyvideotrans: Инструмент для дубляжа видеопереводов

Список функций

• Загрузка видео со ссылок YouTube с помощью yt-dlp
• Распознавание титров на уровне слов с помощью WhisperX
• Сегментация субтитров на основе смысла предложения с помощью НЛП и GPT
• GPT Summary Extraction Terminology Knowledge Base, Contextualised Translation
• Трехступенчатый прямой перевод, отражение, итальянский перевод, сопоставимый с субтитрами группы тонкий эффект перевода
• Проверьте длину одной строки в соответствии со стандартами Netflix, никаких двустрочных субтитров!
• Высококачественное выравнивающее дублирование с использованием таких методов, как GPT-SoVITS
• Интеграционные пакеты с возможностью запуска в один клик, выхода из фильма в Streamlit в один клик

Использование помощи

Процесс установки

1. Загрузите пакет интеграции для VideoLingo (около 800M) в один клик.
2. Распакуйте файл и двойным щелчком запустите файл "One-Click-Boot.bat" в папке.
3. В открытом окне браузера произведите необходимые настройки в боковой панели, а затем одним щелчком мыши выйдите из фильма.

Функции Поток операций

1. Скачать видео: Введите ссылку на видео с YouTube в интерфейсе Streamlit и используйте yt-dlp для загрузки видео.
2. распознавание субтитров: Используйте WhisperX для распознавания субтитров на уровне слов на временной шкале, чтобы обеспечить точное соответствие субтитров видеоконтенту.
3. разделение субтитровОднострочные субтитры, соответствующие требованиям Netflix, создаются путем сегментирования субтитров в соответствии со смыслом предложения с помощью технологий NLP и GPT.
4. рендерингGPT обобщает и извлекает терминологическую базу знаний и выполняет контекстуальный перевод, обеспечивая естественный поток переведенного контента.
5. дубляж (кинематограф): Высококачественное выровненное дублирование с использованием таких методов, как GPT-SoVITS, которые создают эффекты дубляжа, полностью соответствующие оригинальному видеоконтенту.
6. Вывод пленки одним щелчком мыши: Создавайте видео с высококачественными двуязычными субтитрами и дубляжом одним щелчком мыши после выполнения всех настроек в интерфейсе Streamlit.