Director：智能视频代理框架，用自然语言描述执行视频搜索、编辑和生成工作流

General Introduction

Director 是一个开源框架，旨在通过构建智能视频代理来简化和优化视频交互和工作流程。该框架基于 VideoDB 的“视频即数据”基础设施，能够处理复杂的视频任务，如搜索、编辑、编译和生成，并即时流式传输结果。用户可以通过简单的自然语言命令来操作视频代理，例如上传视频并将亮点发送到 Slack。Director 适用于开发者、创作者和团队，帮助他们利用 AI 简化媒体工作流程，解锁新的可能性。

Function List

• 视频摘要：在几秒钟内生成视频摘要。
• 视频生成：从脚本生成带有旁白的完整电影。
• 视频搜索：搜索和索引媒体库中的特定时刻。
• 视频剪辑：轻松组织和剪辑内容。
• 音频和视频编辑：轻松进行音频和视频的配音和编辑。
• 字幕翻译：翻译并添加任何语言的字幕。
• 集成 GenAI 项目和 API：即时创建和编辑内容。
• 添加覆盖层和生成缩略图。

Using Help

Installation process

1. Cloning Warehouse:

   git clone https://github.com/video-db/Director.git
   cd Director
   

2. 运行安装脚本：

   . /setup.sh
   

   该脚本将安装 Node.js 和 Python，并为前端和后端设置虚拟环境。

3. Configure environment variables:
   compiler .env 文件，添加 API 密钥和其他配置选项。

Usage Process

1. 启动应用程序：

   make run
   

   • 后端服务器：http://127.0.0.1:8000
   • 前端服务器：http://127.0.0.1:8080
2. 创建新代理：
   • 复制模板文件 sample_agent.py until (a time) Director/backend/director/agents/ 并重命名。
   • 更新类名、代理名称和描述。
   • 实现代理逻辑，更新 run() Methods.
   • 处理输出和状态更新，使用 push_update() 发送进度事件。
   • 注册新代理，在 Director/backend/director/handler.py 中导入新代理类，并将其添加到 self.agents 列表中。
3. 文档服务：
   • 本地服务文档：

     source backend/venv/bin/activate
     make install-be
     mkdocs serve -a localhost:9000
     

   • 构建文档：

     mkdocs build
     

Guidelines for use

1. 视频摘要：上传视频后，使用自然语言命令生成视频摘要。例如，输入“生成此视频的摘要”，系统会自动处理并生成摘要。
2. Video Search：在搜索栏中输入关键词，系统会在视频库中搜索并显示相关片段。
3. video clip：选择视频片段并使用剪辑工具进行编辑，生成所需的视频剪辑。
4. 集成GenAI项目和API：通过API接口集成其他AI工具，扩展视频处理功能。
5. 添加叠加层和生成缩略图：在视频编辑界面中，选择添加叠加层或生成缩略图的选项，系统会自动处理。
6. 语音配音和字幕翻译：上传视频后，选择配音或字幕翻译功能，系统会自动生成相应的配音或字幕。

Detailed Operation Procedure

• Video Summary Generation::
  1. 上传视频文件。
  2. 在命令输入框中输入“生成视频摘要”。
  3. 系统处理后，生成的视频摘要将显示在结果区域。
• Video Search::
  1. 进入视频搜索页面。
  2. 在搜索框中输入关键词。
  3. 系统会在视频库中搜索并显示匹配的片段。
• video clip::
  1. 选择要剪辑的视频。
  2. 使用剪辑工具选择开始和结束时间。
  3. 点击“生成剪辑”按钮，系统会生成并保存剪辑。
• 集成GenAI项目和API::
  1. 进入API集成页面。
  2. 输入所需的API密钥和配置。
  3. 系统会自动集成并启用新功能。
• 添加叠加层和生成缩略图::
  1. 在视频编辑页面，选择“添加叠加层”或“生成缩略图”。
  2. 系统会自动处理并应用更改。
• 语音配音和字幕翻译::
  1. 上传视频文件。
  2. 选择“语音配音”或“字幕翻译”功能。
  3. 系统会自动生成并应用配音或字幕。

The layman's guide to getting started with AI

Help you learn how to utilize AI tools at a low cost and from a zero base.AI, like office software, is an essential skill for everyone. Mastering AI will give you an edge in your job search and half the effort in your future work and studies.

View Details>