Text2Edit: 텍스트 기반 동영상 광고 제작을 위한 네이티브 멀티모달 모델(미공개)

일반 소개

텍스트2에디트는 깃허브에서 호스팅되는 오픈 소스 프로젝트로, 효율적인 텍스트 편집 및 광고 생성 기능을 제공하는 것을 목표로 합니다. 이 프로젝트의 주요 목표는 사용자가 사용하기 쉬운 인터페이스와 강력한 기능을 통해 텍스트 콘텐츠를 빠르게 처리하고 고품질 광고 자료를 생성하도록 돕는 것입니다.Text2Edit 프로젝트는 개발자 그룹에 의해 유지 관리되며 코드 기반은 개방되어 있으며 사용자는 자유롭게 액세스하고 기여할 수 있습니다. 이 프로젝트의 주요 프로그래밍 언어에는 JavaScript, HTML 및 CSS가 포함되어 있어 플랫폼 간 호환성과 뛰어난 사용자 경험을 보장합니다.

기술적 특성

1. 다중 모드 대규모 언어 모델(MLLM)

멀티모달 빅 언어 모델은 텍스트, 이미지, 동영상 등 여러 양식의 정보를 동시에 처리할 수 있는 프로젝트의 기반입니다.

2. 높은 프레임 레이트 샘플링 및 느린-빠른 처리 기술

비디오의 시공간 정보를 더 잘 이해하기 위해 이 프로젝트는 높은 프레임 속도 샘플링과 슬로우-패스트 처리 기술을 사용합니다:

- 하이 프레임 레이트 샘플링: 초당 2프레임(fps)의 빈도로 비디오 프레임을 샘플링함으로써 모델은 비디오의 시간적 변화를 보다 민감하게 포착할 수 있습니다. 이 접근 방식은 비디오 역학의 변화를 이해하는 모델의 능력을 크게 향상시킵니다.

- 슬로우-패스트 처리 기법: 이 모델은 두 가지 경로를 동시에 사용하여 비디오 프레임을 처리합니다.

- 느린 경로: 프레임은 더 낮은 프레임 속도(예: 0.5fps)로 처리되지만, 자세한 시공간 정보를 캡처하기 위해 프레임당 더 많은 토큰이 할당됩니다.

- 빠른 경로: 높은 프레임 속도(예: 2fps)로 프레임을 처리하지만 프레임당 토큰을 더 적게 할당하여 빠르게 변화하는 장면을 캡처하는 데 집중합니다. 이 이중 경로 전략은 비디오의 시공간적 정보와 의미론적 정보의 균형을 맞추고 비디오 콘텐츠에 대한 모델의 이해도를 크게 향상시킵니다.

3. 텍스트 중심 편집

텍스트 중심 편집 메커니즘을 통해 사용자는 텍스트 입력을 통해 동영상 편집 결과를 정밀하게 제어할 수 있습니다. 사용자는 동영상 길이, 스토리 라인, 타겟 고객, 스크립트 스타일, 강조할 제품 판매 포인트 및 기타 정보를 지정할 수 있습니다. 이 모델은 이러한 텍스트 프롬프트를 기반으로 사용자의 요구를 충족하는 동영상 편집 초안을 생성하여 높은 수준의 제어와 다양한 결과물을 보장합니다.

4. 동영상 편집의 구체적인 구현

- 비디오 프레임 임베딩 및 처리: 비디오 프레임은 먼저 CLIP 또는 OpenCLIP과 같은 비주얼 코더를 통해 임베딩 벡터로 변환됩니다. 이러한 벡터는 텍스트 임베딩 벡터와 함께 LLM에 입력되며, 모델은 자체 인식 메커니즘을 통해 이러한 임베딩 벡터를 처리하여 비디오 편집을 위한 초안을 생성합니다.

- 초안 생성 및 후처리: 모델의 초안 출력에는 비디오 클립, 음성 해설 스크립트 및 장식 요소(예: 사운드트랙, 디지털 사람 이미지 등)의 배열이 포함됩니다. 이러한 초안은 후처리(예: 음성 합성, 음악 검색 등)를 통해 처리되어 최종 렌더링 가능한 비디오로 제작됩니다.