NarratoAI: текстовый нарратив для кино и телевидения и инструмент для автоматизированного редактирования

Общее введение

NarratoAI - это полностью автоматизированный инструмент, объединяющий в себе дикторское озвучивание фильмов и телепередач, автоматический монтаж, создание закадрового голоса и субтитров. Он опирается на технологию крупномасштабного моделирования языка (LLM) для автоматического создания копий и автоматического редактирования видео с соответствующими закадровым голосом и субтитрами, предоставляя пользователям универсальное решение для создания кино- и телеповествования. Инструмент значительно упрощает процесс создания видеоконтента, повышает эффективность создания и снижает зависимость от профессионального программного и аппаратного обеспечения для редактирования видео.

Список функций

• Автоматизированный копирайтинг: использование технологии LLM для создания копий комментариев к фильмам и телепередачам с высокой степенью автоматизации, что позволяет экономить время и силы.
• Автоматическое редактирование и дублирование: автоматическое редактирование видео и одновременное создание дубляжа, что делает весь процесс более эффективным.
• Генерация субтитров: автоматическая генерация субтитров обеспечивает более удобное чтение и просмотр видеоконтента.
• Локальное развертывание и развертывание Docker: поддерживает несколько методов развертывания, что позволяет пользователям легко выбрать подходящую среду.

Использование помощи

Установка и настройка

1. Подайте заявку на создание аккаунта Google AI Studio и получите ключ API::
   • интервью Студия искусственного интеллекта Google Подайте заявку на получение счета.
   • Нажмите "Получить ключ API", чтобы запросить ключ API.
   • Введите запрашиваемый ключ API в поле config.example.toml в файле gemini_api_key Конфигурация.
2. локальное развертывание::
   • Используйте conda для создания виртуальной среды и установки зависимостей:

     conda create -n narratoai python=3.10
     conda activate narratoai
     cd narratoai
     pip install -r requirements.txt
     

   • Установите ImageMagick в соответствии с вашей операционной системой:
     • Windows: Загрузите и установите ImageMagick и добавьте следующее в файл конфигурации config.toml устанавливать imagemagick_path.
     • MacOS: установите с помощью Homebrew:

       brew install imagemagick
       

   • Запустите WebUI:

     streamlit run ./webui/Main.py --browser.serverAddress=127.0.0.1 --server.enableCORS=True --browser.gatherUsageStats=False
     

   • Доступ в браузере http://127.0.0.1:8501.
3. Развертывание Docker::
   • Вытащите проект и запустите Docker:

     git clone https://github.com/linyqh/NarratoAI.git
     cd NarratoAI
     docker-compose up
     

   • Доступ в браузере http://127.0.0.1:8501 Просмотр веб-интерфейса.
   • Доступ к документации по API:http://127.0.0.1:8080/docs возможно http://127.0.0.1:8080/redoc.

Использование

1. Базовая конфигурация::
   • Настройте ключ API и выберите поддерживаемые модели. В настоящее время NarratoAI поддерживает только Близнецы другие модели будут поддерживаться в последующих обновлениях.
2. Выберите видео и создайте сценарий::
   • Либо используйте встроенные в платформу демонстрационные видеоролики, либо поместите собственные файлы mp4 в resource/videos каталог и обновите браузер, чтобы загрузить видео. Обратите внимание: имя файла не может содержать китайские иероглифы, специальные символы, пробелы или обратные слеши.
3. Сохраните сценарий и приступайте к редактированию::
   • После создания и сохранения сценария обновите браузер и в раскрывающемся окне "Файл сценария" выберите созданный сценарий .json файл, чтобы начать редактирование.
4. Посмотрите видео::
   • Если в видео есть клипы, которые не соответствуют требованиям, вы можете переснять их или отредактировать вручную.
5. Конфигурационные параметры видео::
   • После настройки основных параметров видео нажмите кнопку Начать генерацию видео.
6. Создать видео::
   • После завершения всех настроек NarratoAI автоматически создаст финальное видео, завершив весь процесс повествования и редактирования.