Director: интеллектуальная система видеоагентов для выполнения процессов поиска, редактирования и создания видео с помощью описаний на естественном языке

Общее введение

Director - это фреймворк с открытым исходным кодом, предназначенный для упрощения и оптимизации видеовзаимодействия и рабочих процессов путем создания интеллектуальных видеоагентов. Фреймворк основан на инфраструктуре Video-as-Data компании VideoDB и способен обрабатывать сложные видеозадачи, такие как поиск, редактирование, компиляция и генерация, а также мгновенная потоковая передача результатов. Пользователи могут управлять видеоагентом с помощью простых команд на естественном языке, например, загружать видео и отправлять основные моменты в Slack. director предназначен для разработчиков, создателей и команд, которые хотят использовать искусственный интеллект для оптимизации рабочих процессов с медиа и раскрытия новых возможностей.

Список функций

• Видеорезюме: создавайте видеорезюме за считанные секунды.
• Генерация видео: создание полноценных фильмов с дикторским текстом на основе скриптов.
• Поиск видео: поиск и индексирование определенных моментов в медиатеке.
• Редактирование видео: легко организуйте и редактируйте контент.
• Редактирование аудио и видео: удобное дублирование и редактирование аудио и видео.
• Перевод субтитров: переводите и добавляйте субтитры на любом языке.
• Интеграция с проектами и API GenAI: создавайте и редактируйте контент "на лету".
• Добавляйте наложения и создавайте миниатюры.

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/video-db/Director.git
   cd Director
   

2. Запустите сценарий установки:

   ./setup.sh
   

   Этот скрипт установит Node.js и Python и настроит виртуальные среды для front-end и back-end.

3. Настройте переменные окружения:
   компилятор .env файл, добавляя ключи API и другие параметры конфигурации.

Процесс использования

1. Запустите приложение:

   make run
   

   • Внутренний сервер: http://127.0.0.1:8000
   • Внешний сервер: http://127.0.0.1:8080
2. Создайте нового агента:
   • Копирование файлов шаблонов sample_agent.py до (времени) Director/backend/director/agents/ и переименован.
   • Обновите имя класса, имя агента и описание.
   • Реализация логики прокси, обновление run() Методы.
   • Обработка вывода и обновления состояния с помощью push_update() Отправляет событие прогресса.
   • Зарегистрируйте нового агента на сайте Director/backend/director/handler.py Импортируйте новый класс прокси в self.agents Список.
3. Услуги по оформлению документации:
   • Местная служебная документация:

     source backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • Создайте документацию:

     mkdocs build
     

Руководство по использованию

1. Краткое содержание видео: После загрузки видео используйте команды естественного языка для создания краткого описания видео. Например, введите "Generate a summary of this video", и система автоматически обработает и создаст резюме.
2. Поиск видео: Введите ключевое слово в строку поиска, и система найдет и покажет соответствующие клипы в видеотеке.
3. видеоклип: Выберите видеоклип и отредактируйте его с помощью инструментов редактирования, чтобы создать нужный видеоклип.
4. Интеграция с проектами и API GenAIРасширение возможностей обработки видео путем интеграции других инструментов искусственного интеллекта через API-интерфейсы.
5. Добавление наложений и создание эскизов: В интерфейсе редактирования видео выберите опцию добавления накладного слоя или создания миниатюры, и система сделает это автоматически.
6. Дубляж голоса и перевод субтитров: После загрузки видео выберите функцию перевода дубляжа или субтитров, и система автоматически создаст соответствующий дубляж или субтитры.

Подробная процедура работы

• Сводное видео::
  1. Загрузите видеофайл.
  2. Введите "Generate Video Summary" в поле ввода команды.
  3. После обработки системой сгенерированная видео сводка будет отображена в области результатов.
• Поиск видео::
  1. Перейдите на страницу поиска видео.
  2. Введите ключевые слова в поле поиска.
  3. Система выполняет поиск в видеотеке и показывает подходящие клипы.
• видеоклип::
  1. Выберите видео, которое нужно отредактировать.
  2. С помощью инструмента "Клип" выберите начальное и конечное время.
  3. Нажмите кнопку "Создать клип", система создаст и сохранит клип.
• Интеграция с проектами и API GenAI::
  1. Перейдите на страницу интеграции API.
  2. Введите необходимый ключ API и конфигурацию.
  3. Система автоматически интегрирует и включает новые функции.
• Добавление наложений и создание эскизов::
  1. На странице редактирования видео выберите "Добавить наложение" или "Создать миниатюру".
  2. Система автоматически обрабатывает и применяет изменения.
• Дубляж голоса и перевод субтитров::
  1. Загрузите видеофайл.
  2. Выберите функцию "Дубляж голоса" или "Перевод субтитров".
  3. Система автоматически генерирует и накладывает дубляж или субтитры.