칼레이도 - 칭화대학교 등과 함께 Smart Spectrum AI가 오픈소스화한 다중 피사체 참조 비디오 생성 모델입니다.

칼레이도란 무엇인가요?

칼레이도는 허페이 공과대학교, 칭화대학교, 스마트 스펙트럼 AI가 공동으로 개발한 오픈 소스 다중 피사체 참조 비디오 생성 모델입니다. 여러 참조 이미지에서 피사체가 일관된 비디오를 생성하여 기존 모델의 단점인 다중 피사체 일관성 및 배경 분리 문제를 해결하며, 저품질 샘플 필터링과 다양한 데이터 합성을 포함한 특수 데이터 구축 파이프라인을 통해 고품질 학습 데이터를 생성합니다. 혁신적인 참조 회전 위치 인코딩(R-RoPE) 메커니즘은 여러 참조 이미지를 안정적이고 정확하게 통합하여 다중 피사체 시나리오에서 일관성을 유지하며, 여러 벤치마크에서 우수한 성능을 보이며 일관성, 충실도, 일반화 능력 측면에서 이전 접근법을 크게 능가합니다.

칼레이도의 특징

• 데이터로 파이프라인 혁신 구축비디오 슬라이싱/캡션, 피사체 현지화, 품질 필터링, 배경 분리 및 포즈-모션 향상 단계를 포함한 다단계 확장 가능한 S2V 데이터 구축 파이프라인을 사용하여 데이터의 다양성과 품질을 효과적으로 개선하고 모델 학습을 위한 고품질 샘플을 제공합니다.
• R-RoPE 메커니즘참조 회전 위치 인코딩(R-RoPE)은 참조 이미지에 고유한 회전 위치 인코딩을 부여하여 다중 참조 이미지의 안정적인 통합을 달성하기 위해 도입되어 다중 피사체 장면에서 일관성을 크게 개선하고 피사체 혼동을 방지합니다.
• 뛰어난 성능여러 벤치마크 테스트에서 Kaleido는 피사체 일관성, 배경 디커플링, 동영상 품질 측면에서 기존 방식을 크게 능가하며, 특히 미적 품질과 동영상 부드러움 측면에서 오픈 소스 모델 수준에 근접하는 우수한 성능을 발휘합니다.

칼레이도의 핵심 강점

• 데이터 다양성 및 품질다단계 데이터 구축 파이프라인을 통해 저품질 샘플 필터링과 다양한 데이터 합성을 수행하여 학습 데이터의 풍부함과 높은 충실도를 보장함으로써 모델 성능 향상을 위한 기반을 마련합니다.
• 다중 주제 일관성혁신적인 R-RoPE 메커니즘은 여러 참조 이미지를 효과적으로 통합하고, 다중 피사체 장면의 일관성을 크게 개선하며, 피사체 혼동을 방지하고, 고품질의 다중 피사체 비디오를 생성합니다.
• 백그라운드 디커플링 기능백그라운드 디커플링 성능이 뛰어나 피사체와 배경을 명확하게 분리하고 배경 오염을 방지하며 자연스럽고 사실적인 영상 제작이 가능합니다.
• 뛰어난 성능여러 벤치마크 테스트에서 Kaleido는 피사체 일관성, 배경 디커플링, 비디오 품질, 미적 품질, 비디오 부드러움 측면에서 기존 방식보다 훨씬 뛰어난 성능을 보이며 비공개 소스 모델에 근접하거나 심지어 그 수준을 능가합니다.
• 오픈 소스가 생태계를 주도합니다오픈 소스 프로젝트인 칼레이도는 비디오 생성 분야의 연구와 응용을 강력하게 지원하고, 광범위한 응용 전망을 가진 전체 분야의 기술 개발과 생태 건설을 촉진합니다.

칼레이도 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://criliasmiller.github.io/Kaleido_Project/
• GitHub 리포지토리:: https://github.com/zai-org/Kaleido
• 허깅페이스 모델 라이브러리:: https://huggingface.co/zai-org/Kaleido-14B-S2V
• arXiv 기술 논문:: https://arxiv.org/pdf/2510.18573

칼레이도는 누구를 위한 서비스인가요?

• 동영상 콘텐츠 제작자광고, 전자상거래, 영화 및 텔레비전의 콘텐츠 제작에 적합한 Kaleido로 고품질 동영상을 빠르게 생성하여 촬영 및 후반 작업 비용을 절감할 수 있습니다.
• 인공 지능 연구원오픈 소스 모델인 칼레이도는 연구자들에게 풍부한 실험 데이터와 고급 기술 프레임워크를 제공하여 비디오 생성과 관련된 연구 작업을 용이하게 합니다.
• 개발자 및 엔지니어동영상 생성 기능이 필요한 소프트웨어 및 플랫폼 개발을 위해 Kaleido를 자체 프로젝트에 통합하거나, 새로운 애플리케이션을 개발하거나, 기존 시스템을 최적화할 수 있습니다.
• 크리에이티브 디자이너칼레이도 멀티 피사체 비디오 생성 기능을 사용하면 창의적인 아이디어를 빠르게 실현하여 디자인 작업을 위한 새로운 아이디어와 소재를 제공할 수 있습니다.
• 교육자 및 학생학생들이 동영상 생성 기술의 원리와 응용을 이해하고 관련 기술과 창의력을 개발할 수 있도록 교육 및 학습에 사용할 수 있습니다.