Director: 자연어 설명으로 비디오 검색, 편집 및 생성 워크플로우를 수행하는 지능형 비디오 에이전트 프레임워크입니다.

2.2K 00

일반 소개

Director는 지능형 비디오 에이전트를 구축하여 비디오 상호 작용 및 워크플로를 간소화하고 최적화하도록 설계된 오픈 소스 프레임워크입니다. 이 프레임워크는 VideoDB의 Video-as-Data 인프라를 기반으로 하며 검색, 편집, 컴파일 및 생성, 결과물 즉시 스트리밍과 같은 복잡한 비디오 작업을 처리할 수 있습니다. 사용자는 간단한 자연어 명령으로 비디오 업로드, 하이라이트 전송 등 비디오 에이전트를 조작할 수 있습니다. 디렉터는 AI를 사용하여 미디어 워크플로우를 간소화하고 새로운 가능성을 실현하고자 하는 개발자, 크리에이터 및 팀을 위한 제품입니다.

Director：智能视频代理框架，用自然语言描述执行视频搜索、编辑和生成工作流

기능 목록

동영상 요약: 몇 초 만에 동영상 요약을 생성합니다.
동영상 생성: 스크립트에서 내레이션이 포함된 전체 동영상을 생성합니다.
동영상 검색: 미디어 라이브러리에서 특정 순간을 검색하고 색인을 생성합니다.
동영상 편집: 콘텐츠를 쉽게 구성하고 편집할 수 있습니다.
오디오 및 비디오 편집: 간편한 오디오 및 비디오 더빙 및 편집.
자막 번역: 모든 언어로 자막을 번역하고 추가할 수 있습니다.
GenAI 프로젝트 및 API와의 통합: 즉시 콘텐츠를 만들고 편집할 수 있습니다.
오버레이를 추가하고 썸네일을 생성합니다.

도움말 사용

설치 프로세스

복제 창고:

git clone https://github.com/video-db/Director.git
cd Director

설치 스크립트를 실행합니다:
```
./setup.sh
```
이 스크립트는 Node.js와 Python을 설치하고 프론트엔드 및 백엔드를 위한 가상 환경을 설정합니다.
환경 변수를 구성합니다:
컴파일러 .env 파일에 API 키 및 기타 구성 옵션을 추가합니다.

사용 프로세스

애플리케이션을 실행합니다:
```
make run
```
- 백엔드 서버: http://127.0.0.1:8000
- 프런트엔드 서버: http://127.0.0.1:8080
새 상담원을 만듭니다:
- 템플릿 파일 복사하기 sample_agent.py (시간)까지 Director/backend/director/agents/ 로 변경되었습니다.
- 클래스 이름, 상담원 이름 및 설명을 업데이트합니다.
- 프록시 로직 구현, 업데이트 run() 방법.
- 다음을 사용하여 출력 및 상태 업데이트를 처리합니다. push_update() 진행률 이벤트를 전송합니다.
- 다음에서 새 상담원을 등록하세요. Director/backend/director/handler.py 에서 새 프록시 클래스를 가져옵니다. self.agents 목록.

문서화 서비스:

로컬 서비스 문서:

source backend/venv/bin/activate
make install-be
mkdocs serve -a localhost:9000

문서를 작성하세요:
```
mkdocs build
```

사용 가이드라인

비디오 요약: 동영상을 업로드한 후 자연어 명령을 사용하여 동영상 요약을 생성할 수 있습니다. 예를 들어 "이 동영상 요약 생성"이라고 입력하면 시스템이 자동으로 처리하여 요약을 생성합니다.
동영상 검색검색창에 키워드를 입력하면 시스템이 동영상 라이브러리에서 관련 클립을 검색하여 표시합니다.
비디오 클립: 동영상 클립을 선택하고 편집 도구를 사용하여 편집하여 원하는 동영상 클립을 생성합니다.
GenAI 프로젝트 및 API와의 통합API 인터페이스를 통해 다른 AI 도구를 통합하여 비디오 처리 기능을 확장합니다.
오버레이 추가 및 미리보기 이미지 생성하기동영상 편집 인터페이스에서 오버레이 레이어를 추가하거나 미리보기 이미지를 생성하는 옵션을 선택하면 시스템이 자동으로 처리합니다.
음성 더빙 및 자막 번역: 동영상을 업로드한 후 더빙 또는 자막 번역 기능을 선택하면 시스템이 자동으로 해당 더빙 또는 자막을 생성합니다.

세부 운영 절차

비디오 요약 생성::
1. 동영상 파일을 업로드합니다.
2. 명령 입력 상자에 '동영상 요약 생성'을 입력합니다.
3. 시스템에서 처리한 후 생성된 동영상 요약이 결과 영역에 표시됩니다.
동영상 검색::
1. 동영상 검색 페이지로 이동합니다.
2. 검색창에 키워드를 입력합니다.
3. 시스템이 동영상 라이브러리를 검색하여 일치하는 클립을 표시합니다.
비디오 클립::
1. 편집할 동영상을 선택합니다.
2. 클립 도구를 사용하여 시작 및 종료 시간을 선택합니다.
3. '클립 생성' 버튼을 클릭하면 시스템이 클립을 생성하고 저장합니다.
GenAI 프로젝트 및 API와의 통합::
1. API 통합 페이지로 이동합니다.
2. 필요한 API 키와 구성을 입력합니다.
3. 시스템은 자동으로 새로운 기능을 통합하고 활성화합니다.
오버레이 추가 및 미리보기 이미지 생성하기::
1. 동영상 편집 페이지에서 '오버레이 추가' 또는 '썸네일 생성'을 선택합니다.
2. 시스템이 자동으로 변경 사항을 처리하고 적용합니다.
음성 더빙 및 자막 번역::
1. 동영상 파일을 업로드합니다.
2. '음성 더빙' 또는 '자막 번역' 기능을 선택합니다.
3. 시스템이 자동으로 더빙 또는 자막을 생성하고 적용합니다.