Yume1.5 - 상하이 인공지능 연구소와 푸단대학교에서 오픈소스화한 인터랙티브 월드 제너레이션 모델

Yume 1.5란?

Yume1.5는 상하이 인공지능 연구소, 푸단대학교, 상하이 혁신 연구소가 공동 개발한 오픈 소스 인터랙티브 월드 생성 모델로, 실시간 인터랙티브 렌더링(단일 카드에서 12FPS)이 가능합니다. 이 모델은 공동 시공간 채널 모델링(TSCM) 기술을 사용하여 컨텍스트 길이가 증가하더라도 안정적인 샘플링 속도를 유지하며, 셀프 포싱을 통합하여 추론을 가속화하고 오류 누적을 줄입니다. 이 모델은 월드 생성 및 편집 작업에서 우수한 성능을 발휘하며, 관련 논문과 오픈 소스 코드는 GitHub를 통해 확인할 수 있습니다.

Yume 1.5의 특징

• 효율적인 실시간 생성Yume-1.5는 초당 12프레임(540p 해상도)으로 추론할 수 있어 벤치마크 생성 시간을 8초로 단축하고 실시간 성능을 크게 개선하며 사실적인 가상 세계를 빠르게 생성할 수 있습니다.
• 텍스트 제어 기능자연어 프롬프트를 통해 동적 이벤트 생성을 지원하고, 사용자가 텍스트 명령을 통해 가상 세계의 생성 및 변경을 제어할 수 있어 생성된 콘텐츠의 시맨틱 가이드를 가능하게 합니다.
• 키보드 상호작용 경험키보드 기반 생성 세계 탐험을 지원하고 1인칭 내비게이션을 시뮬레이션하며 키보드를 통해 캐릭터와 카메라의 움직임을 제어할 수 있어 사용자 인터랙션 경험을 향상시킵니다.
• 기술 혁신의 돌파구긴 동영상 생성 시 히스토리 컨텍스트가 빠르게 증가하는 문제는 계층적 압축 기법을 통해 히스토리 프레임 컨텍스트를 다차원으로 효율적으로 압축하는 공동 시간-공간-채널 모델링(TSCM) 기법을 사용하여 해결합니다.
• 양방향 주의 집중 증류향상된 텍스트 임베딩 방식과 결합하여 샘플링 프로세스를 가속화하고, 자동 회귀 생성 시 오류 누적을 줄이며, 추론 효율을 크게 향상시킵니다.
• 혼합 데이터 세트 학습생성된 콘텐츠의 시맨틱 스티어링은 하이브리드 데이터 세트 학습 전략과 이벤트 및 액션 설명의 구조적 분해를 통해 이루어지며, 이를 통해 모델 생성의 품질과 다양성을 향상시킵니다.
• 광범위한 애플리케이션Yume-1.5는 몰입형 시뮬레이션, 가상 구현 및 인터랙티브 엔터테인먼트 분야에서 폭넓게 활용되며 사용자에게 더욱 사실적이고 풍부한 가상 세계 경험을 제공할 수 있습니다.

Yume 1.5의 핵심 이점

• 효율적인 추론 성능Yume-1.5는 초당 12프레임(540p 해상도)의 추론 속도를 달성하여 벤치마크 생성 시간을 8초로 단축하여 실시간 생성의 효율성을 크게 향상시켰습니다.
• 텍스트 기반 상호 작용사용자가 자연어 명령을 통해 가상 세계의 생성 및 변경을 제어하여 동적 이벤트 생성을 가능하게 하고 사용자와 가상 세계 간의 상호 작용을 강화할 수 있습니다.
• 1인칭 내비게이션 경험1인칭 내비게이션을 시뮬레이션하는 키보드 기반 상호작용을 지원하여 사용자가 캐릭터와 카메라의 움직임을 자유롭게 제어할 수 있어 몰입감 있는 탐험 경험을 제공합니다.
• 혁신적인 모델링 기법긴 동영상 생성 시 역사적 맥락이 빠르게 증가하는 문제를 효과적으로 해결하고 생성의 품질과 효율성을 개선하기 위해 공동 시간-공간-채널 모델링(TSCM)을 사용합니다.
• 양방향 주의 메커니즘양방향 주의 증류 및 향상된 텍스트 임베딩 체계를 통해 샘플링 프로세스를 가속화하고 오류 누적을 줄임으로써 추론 속도가 더욱 향상됩니다.
• 혼합 데이터 세트 학습 전략학습을 위해 여러 데이터 세트를 결합하면 다양한 장면과 이벤트에 적응하는 모델의 능력이 향상되고 생성된 콘텐츠의 다양성과 사실감이 향상됩니다.

Yume 1.5의 공식 웹사이트는 무엇인가요?

• 프로젝트 웹사이트:: https://stdstu12.github.io/YUME-Project/
• GitHub 리포지토리:: https://github.com/stdstu12/YUME
• 허깅페이스 모델 라이브러리:: https://huggingface.co/stdstu123/Yume-5B-720P
• arXiv 기술 논문:: https://arxiv.org/pdf/2512.22096

Yume 1.5는 누구를 위한 서비스인가요?

• 게임 개발자Yume-1.5를 사용하면 가상 게임 월드를 빠르게 생성하고 개발 시간과 비용을 줄이며 플레이어에게 더욱 몰입감 있는 게임 경험을 제공할 수 있습니다.
• 가상 현실(VR) 및 증강 현실(AR) 개발자이 모델은 사실적인 가상 환경을 만들고 VR/AR 애플리케이션의 사실성과 상호작용성을 향상하는 데 사용할 수 있습니다.
• 영화 제작자가상 장면과 특수 효과를 생성하여 영화, 드라마 및 기타 영화 및 TV 제작을 지원하는 데 사용할 수 있어 실제 세트 제작에 드는 비용과 시간을 절약할 수 있습니다.
• 교육자역사 재연 및 과학 시뮬레이션과 같은 교육 시나리오를 위한 가상 교육 환경을 만들어 학생들의 학습 흥미와 이해를 높일 수 있습니다.
• 건축 설계자 및 기획자프로그램 프레젠테이션과 클라이언트 커뮤니케이션을 위한 건축 모델 및 도시 계획의 가상 시나리오를 빠르게 생성하여 설계 효율성을 높일 수 있습니다.
• 엔터테인먼트 업계 종사자테마파크나 방탈출실과 같은 장소의 디자이너는 Yume-1.5를 사용하여 엔터테인먼트 경험을 풍부하게 하는 독특한 가상 시나리오를 생성할 수 있습니다.