KrillinAI: многоязычный инструмент глобализации видео с возможностью перевода и дубляжа в один клик

Общее введение

KrillinAI - это инструмент для обработки видео с открытым исходным кодом, в котором искусственный интеллект помогает пользователям переводить видео и автоматически дублировать его. Он может начать с загрузки видео и продолжить генерировать готовые продукты для различных платформ всего за несколько кликов. Разработчики выложили код в свободный доступ на GitHub, чтобы пользователи могли скачать его и запустить локально. KrillinAI использует технологию Large Language Modelling (LLM) для обеспечения высококачественного перевода и создания субтитров. В настоящее время он поддерживает переводы на 56 языков, в том числе на китайский, английский, японский и другие. Кроме того, он настраивает форматы видео и адаптируется к таким платформам, как YouTube, TikTok и Jieyin, что позволяет создателям контента быстро создавать многоязычные видеоролики.

Список функций

• Загрузка и выгрузка видео: Поддерживает загрузку видео с YouTube, Jitterbug, Bilibili или загрузку локальных файлов.
• Точное создание субтитров: Использование Шепот Технология распознает речь и генерирует высокоточные субтитры.
• Интеллектуальное разделение субтитров: Сегментация субтитров осуществляется естественным образом с помощью большой языковой модели, сохраняя при этом семантическую целостность.
• профессиональный перевод: Перевод целых абзацев для обеспечения контекстуальной согласованности и приближения к человеческому уровню.
• Дубляж и клонирование голоса: Предоставлено CosyVoice мужской и женский дубли, или загрузить аудио-клон голоса.
• Настройка формата видео: Автоматическое создание видео в альбомной или портретной ориентации, адаптация к различным платформам.
• Замена терминов: Поддерживает замену лексики в специализированных полях одним щелчком мыши.

Использование помощи

Процесс установки

Для запуска KrillinAI необходимо установить локально, вот подробные шаги:

1. Скачать файл
   • Открыть https://github.com/krillinai/KrillinAI.
   • Нажмите "Релизы" в правом верхнем углу страницы, чтобы загрузить подходящую версию для вашей системы (например, Windows, macOS).
   • Распакуйте файлы в пустую папку.
2. Конфигурационная среда
   • Создайте папку в папке config Папка.
   • существовать config Создайте новую папку в config.toml Документация.
   • С сайта GitHub config-example.toml Скопируйте содержимое в config.toml, а затем заполните конфигурацию.
   • Самая простая конфигурация: используйте только службу OpenAI и заполните следующие поля:

     [openai]
     apikey = "你的OpenAI API密钥"
     transcription_provider = "openai"
     llm_provider = "openai"
     

   • Если требуется прокси или пользовательская модель, добавьте app.proxy возможно openai.base_url.
3. программа бега
   • Windows (компьютер): Дважды щелкните исполняемый файл, чтобы запустить его.
   • macOS: Требуется ручное доверие, так как он не подписан:
     • Откройте терминал и перейдите в каталог файлов.
     • Введите команду:

       sudo x'attr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64
       sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64
       ./KrillinAI_1.0.0_macOS_arm64
       

   • После запуска служба работает на http://127.0.0.1:8888(Порт может быть изменен).
4. Развертывание Docker (опционально)
   • В GitHub's docs/docker.md Просмотреть подробные шаги.
   • Установите Docker, извлеките образ и запустите его.

Работа основных функций

Перевод видео и создание субтитров

• перейти::
  1. После запуска службы браузер получает доступ к http://127.0.0.1:8888.
  2. Введите ссылку на видео (например. https://www.youtube.com/watch?v=xxx) или загрузить файл.
  3. Выберите язык ввода (например, китайский) и целевой язык (например, английский).
  4. Нажмите "Старт", и программа автоматически распознает речь, генерирует субтитры и переводит их.
• в конце концов: Файлы субтитров сохраняются в tasks Папка.
• принимать к сведению: Если загрузка не удалась, настройте параметр cookies.txtказаться (быть чем-л.) docs/get_cookies.md.

функция дубляжа

• перейти::
  1. После того как субтитры будут созданы, нажмите на опцию "Дубляж".
  2. Выберите мужской или женский голос для CosyVoice или загрузите образец аудиозаписи, чтобы клонировать голос.
  3. Нажмите "Generate", и программа автоматически синтезирует голос за кадром.
• в конце концов: Голос за кадром и видео объединяются для создания нового файла.
• характеристика: Поддерживается межъязыковое дублирование, а звуковые дорожки и субтитры точно выровнены.

Настройка формата видео

• перейти::
  1. При создании видео выберите "Пейзаж" или "Портрет".
  2. Нажмите "Готово", и программа настроит разрешение и расположение субтитров.
• в конце концов: Выводит видео, адаптированное для YouTube (альбомный режим) или TikTok (книжный режим).
• привлекать внимание к чему-л.: Субтитры будут автоматически менять строки, если они слишком длинные, обеспечивая аккуратное изображение.

Функциональное управление

Интеллектуальное разделение субтитров

• Программа анализирует речь с помощью большой языковой модели и разбивает субтитры по семантике. Например, 10-секундный диалог разбивается на сегменты на основе целостности предложения, а не фиксированного временного отрезка.
• Ручная настройка не требуется, обработка выполняется автоматически.

Замена терминов

• перейти::
  1. существовать config.toml Добавьте правило замены, например:

     [custom_vocab]
     "AI" = "人工智能"
     "LLM" = "大语言模型"
     

  2. Перезапустите программу и автоматически замените ее при переводе.
• использовать: Подходит для таких областей, как технологии, образование и т.д., чтобы обеспечить точную терминологию.

клонирование звука

• перейти::
  1. Загрузите 10-30-секундный аудиофрагмент на экране озвучивания.
  2. Выберите "Clone Sound", и программа сгенерирует похожий звук.
• запрос: Если вы используете службу AliCloud, вам необходимо настроить aliyun.ossказаться (быть чем-л.) docs/aliyun.md.

Дополнительные параметры конфигурации

• локальная модель: Настройки transcription_provider = "fasterwhisper"Обязательные поля local_model.faster_whisperМодель будет загружена автоматически (macOS пока не поддерживается).
• Услуги AliCloud: Если вы используете большие модели AliCloud или дублирование, вам необходимо настроить aliyun.bailian возможно aliyun.speech.

сценарий применения

1. Создание многоязычного контента
   • Блогеры YouTube хотят перевести китайские видео на английский и французский языки. KrillinAI быстро создает субтитры и закадровый голос в альбомном формате.
2. Продвижение короткого видео
   • Торговцы используют Jitterbug для рекламы своих товаров, а KrillinAI преобразует видео в вертикальный экран с местным языком для повышения привлекательности.
3. Совместное использование образовательных ресурсов
   • Преподаватели переводят видеокурсы на множество языков, а KrillinAI обеспечивает точные субтитры и озвучку для студентов по всему миру.

QA

1. Почему API отсутствует при запуске?
   • нужно быть в config.toml Заполните форму OpenAI apikeyДля получения дополнительной информации посетите сайт OpenAI.
2. Какие языки ввода поддерживаются?
   • В настоящее время поддерживаются китайский, английский, японский, немецкий, турецкий и другие языки, находящиеся в разработке.
3. Сколько времени занимает перевод и дубляж?
   • Обработка 10-минутного видео занимает около 5-10 минут, в зависимости от сети и конфигурации.
4. Как исправить неудачную загрузку?
   • настроить cookies.txtссылка docs/get_cookies.md Экспорт файлов cookie браузера.