MirageLSD - Decart AI, 최초의 실시간 AI 비디오 생성 모델 출시

MirageLSD란?

MirageLSD는 디카트 AI팀이 세계 최초로 출시한 실시간 스트리밍 확산 AI 동영상 모델로, 길이 무제한, 40ms의 낮은 지연 시간, 초당 24프레임의 부드러운 출력으로 실시간 동영상을 생성할 수 있습니다. 확산 강제(Diffusion Forcing) 기술과 히스토리 강화 학습을 통해 기존 자동 회귀 모델의 장시간 생성 시 오류 누적 문제를 해결하고 무제한 동영상 생성을 실현합니다. 호퍼에 최적화된 메가 커널, 아키텍처 인식 프루닝 및 단축키를 기반으로 합니다. 증류 MirageLSD는 고화질 이미지를 유지하면서 생성 속도를 획기적으로 향상시켜 진정한 실시간 상호작용이 가능하도록 설계되었습니다.

MirageLSD의 주요 기능

무제한 실시간 동영상 생성MirageLSD는 40밀리초의 짧은 지연 시간으로 무제한 길이의 비디오 스트림을 생성하고 초당 24프레임의 실시간 생성 속도를 지원하여 기존 비디오 생성 모델에서 장시간에 걸쳐 오류가 누적되는 문제를 해결합니다.
실시간 상호 작용지속적인 인터랙티브 경험을 위해 동영상 생성 과정에서 사용자에게 실시간으로 메시지를 표시하고, 변환하고, 편집할 수 있습니다.
짧은 지연 시간 처리이 모델은 호퍼에 최적화된 메가 커널과 아키텍처 인식 프루닝과 같은 최적화 기술을 통해 40밀리초의 초저지연 처리를 달성하여 실시간 비디오 생성을 지원합니다.

MirageLSD 프로젝트 주소

기술 문서:: https://about.decart.ai/publications/mirage

MirageLSD의 기술 원리

확산 강제 기술프레임 단위 노이즈 제거를 통해 프레임 수준 생성이 이루어지므로 전체 비디오 컨텍스트 없이 단일 프레임 이미지를 생성할 수 있습니다.
역사 강화 교육학습 중에 과거 프레임의 노이즈 데이터를 도입하면 모델이 입력 오류를 예측하고 수정하여 무한 생성으로 이어질 수 있습니다.
최적화 전략::
- 호퍼 최적화 메가 커널각 레이어에서 모델 지연 시간을 줄이기 위해 NVIDIA Hopper GPU 아키텍처에 최적화되었습니다.
- 구조 인식 가지 치기GPU 아키텍처에 맞게 모델 파라미터의 크기를 조정하여 계산을 줄입니다.
- 바로 가기 증류큰 모델의 노이즈 제거 궤적과 일치하도록 작은 모델을 훈련하여 생성에 필요한 확산 단계를 줄입니다.

사용 방법

MirageLSD 플랫폼 사용디카트 AI에서 제공하는 공식 미라지 웹사이트(https://mirage.decart.ai/)를 방문하세요. 준비된 비디오 스트림을 미라지 플랫폼에 연결합니다.
입력 비디오 스트림 준비하기
- 화상 채팅 또는 라이브 스트리밍웹캠 또는 라이브 스트리밍 소프트웨어의 출력을 입력 소스로 사용합니다.
- 게임 화면게임 비디오 출력의 라이브 피드.
- 컴퓨터 화면: 화면의 내용을 입력으로 캡처합니다.
실시간 변환 및 편집미라지 플랫폼에서 사용자는 텍스트 프롬프트를 입력하거나 미리 설정된 스타일을 선택하여 실시간으로 동영상 스트림의 콘텐츠를 변경할 수 있습니다. 이 플랫폼은 실시간 상호작용을 지원하므로 사용자는 동적인 동영상 전환을 위해 필요에 따라 프롬프트나 스타일을 조정할 수 있습니다.
출력 및 애플리케이션변환된 동영상 스트림은 라이브 스트리밍, 게임, 화상 통화 및 기타 시나리오에 바로 사용할 수 있습니다.

MirageLSD의 모델 장점

무한 생성을 통한 짧은 지연 시간MirageLSD는 40밀리초 미만의 초저지연 처리를 달성하고 초당 24프레임으로 무제한 길이의 동영상 스트림을 실시간으로 생성합니다. 따라서 일반적으로 10초 이상의 지연 시간으로 5~10초 클립을 생성하는 기존 비디오 생성 모델의 지연 시간 및 길이 병목 현상을 해결합니다. 이 모델의 전반적인 효율성은 혁신적인 CUDA 메가커널 최적화와 드리프트 방지 트레이닝 기술을 통해 100배 이상 향상되었습니다.
강력한 실시간 인터랙티브 기능MirageLSD는 실시간 동적 응답을 지원하여 사용자가 동영상 생성 과정에서 콘텐츠를 동적으로 조정할 수 있으므로 결과물이 항상 창의적인 아이디어와 일치하도록 보장합니다. 높은 수준의 유연성과 제어 기능을 통해 MirageLSD는 창의적인 콘텐츠 제작에 큰 잠재력을 발휘할 수 있습니다. 사용자는 제스처 제어와 같은 간단한 인터랙션을 통해 비디오의 룩, 장면 또는 의상을 실시간으로 변경할 수 있습니다.

MirageLSD의 애플리케이션 시나리오

MirageLSD의 적용 시나리오에는 일반 영상 통화 또는 라이브 방송 콘텐츠를 사용자가 지정한 시나리오로 실시간 변환하는 라이브 방송 및 영상 통화, 예를 들어 현실적인 장면을 공상 과학 세계로 변경하는 등 다양한 시나리오가 있습니다. 게임 개발: 일반적인 전투 장면을 광선검 결투 장면으로 바꾸는 등 게임 화면을 실시간으로 다양한 시각적 스타일로 변환합니다. 애니메이션 제작 및 가상 분장, 애니메이션 제작 및 가상 분장을 위한 실시간 시각 효과 지원.