AI no jimaku gumi: автоматическое создание и перевод многоязычных субтитров для видео с помощью искусственного интеллекта

Общее введение

AI no jimaku gumi (AI no subtitle group) - это мощный инструмент командной строки для обработки видео субтитров, предназначенный для автоматического извлечения, транскрипции и перевода видео субтитров. В инструмент интегрированы передовые технологии искусственного интеллекта, включая Шепот Модели распознавания речи и различные бэкграунды перевода (например, DeepL, LLM и т. д.) позволяют эффективно обрабатывать видео- и аудиоконтент и создавать высококачественные файлы субтитров. Программа поддерживает конвертацию между несколькими языками, включая английский, японский, китайский, корейский и другие распространенные языки, и предоставляет гибкие возможности вывода субтитров. Являясь проектом с открытым исходным кодом, он не только предоставляет полный исходный код, но и поддерживает кроссплатформенное использование и может работать на Linux, macOS и других основных операционных системах.

Список функций

• Автоматическое извлечение аудиоданных из видео и распознавание речи
• Поддержка нескольких источников субтитров: распознавание аудио, извлечение контейнеров, распознавание OCR
• Интеграция с несколькими бэкендами перевода: DeepL, LLM и др.
• Поддержка перевода с и на многие основные языки
• Настраиваемый формат вывода субтитров (в настоящее время поддерживается формат SRT)
• Поддержка перехвата и обработки видеоклипов
• Предусмотрены режимы отладки: только извлечение звука, только транскрипция, только перевод и другие варианты
• Поддержка пользовательских траекторий и конфигураций моделей ИИ
• Кроссплатформенная поддержка (Linux, macOS, Windows будут поддерживаться)

Использование помощи

1. Подготовка окружающей среды

Системы Windows в процессе подготовки...

Зависимости для установки системы Linux:

• Пользователи Ubuntu:

apt-get install -y clang cmake make pkg-config libavcodec-dev libavdevice-dev libavfilter-dev libavformat-dev libavutil-dev libpostproc-dev libswresample-dev libswscale-dev

• Пользователи Fedora:

dnf install clang cmake ffmpeg-free-devel make pkgconf-pkg-config

• Пользователи Arch Linux:

pacman -S clang cmake ffmpeg make pkgconf

Зависимости для установки системы macOS:

Используйте менеджер пакетов Homebrew:

brew install cmake ffmpeg

2. Этапы установки

1. Клонируйте репозиторий кода:

git clone https://github.com/Inokinoki/ai-no-jimaku-gumi.git
cd ai-no-jimaku-gumi

2. Скомпилируйте проект:

cargo build

3. Загрузите модель Whisper:

wget https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-tiny.bin

3. Основное использование

Инструмент предлагает несколько вариантов настройки:

• --input-video-path: Укажите путь к входному видеофайлу (обязательно)
• --source-language: Язык источника (по умолчанию: ja)
• --target-language: Целевой язык (по умолчанию: en)
• --ggml-model-path: путь к модели искусственного интеллекта (по умолчанию: ggml-tiny.bin)
• --subtitle-output-path: Путь вывода субтитров (по умолчанию: output.srt).

4. Конфигурация внутреннего перевода

DeepL бэкэнд перевода (по умолчанию):

1. Установка переменных окружения:

export DEEPL_API_KEY=你的API密钥
export DEEPL_API_URL=https://api.deepl.com  # 付费API版本需要

LLM Translation Backend:

1. Установка переменных окружения:

export CUSTOM_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxx

2. Пример использования:

./target/debug/ainojimakugumi --input-video-path video.webm \
--translator-backend llm \
--llm-api-base https://your-api-endpoint.com/v1/ \
--llm-prompt 'translate this to English' \
--llm-model-name 'gpt-4o-mini' \
--ggml-model-path ggml-small.bin

5. Дополнительные функции

• пользоваться--start-timeответить пением--end-timeВозможность обработки определенных видеоклипов
• --only-extract-audio: Извлечение только звука (для отладки).
• --only-transcript: Только субтитры на оригинальном языке
• --only-translate: Только функция перевода
• Поддерживает несколько вариантов источников субтитров: аудио (по умолчанию), контейнер, ocr.