소라 동영상 생성 모델: 가상 세계 구축을 위한 시뮬레이터 [번역됨].

AI 기술 자료11개월 전 업데이트 AI 공유 서클
2.9K 00

원본 텍스트:월드 시뮬레이터로서의 비디오 생성 모델

 

우리는 비디오 데이터에 대한 대규모 생성 모델 학습을 진행합니다. 특히 다양한 길이, 해상도, 종횡비의 동영상과 이미지에 대한 텍스트 조건부 확산 기반 모델을 공동으로 학습시킵니다. 우리는 트랜스포머 아키텍처는 비디오와 이미지에 잠재적으로 인코딩된 시공간 세그먼트를 처리할 수 있는 아키텍처입니다. 가장 큰 모델인 Sora는 1분 분량의 고화질 동영상을 생성합니다. 유니티의 연구에 따르면 비디오 생성 모델을 확장하는 것은 실제 세계를 시뮬레이션할 수 있는 범용 도구를 개발하는 데 있어 유망한 단계입니다.

 

 

이 기술 보고서는 (1) 다양한 유형의 시각적 데이터를 통합된 표현으로 변환하여 제너레이티브 모델을 대규모로 학습할 수 있도록 하는 방법, (2) Sora 모델 기능 및 한계에 대한 정성적 평가. 모델링 및 구현에 대한 자세한 정보는 보고서에 포함되어 있지 않습니다.

이전의 많은 연구에서 순환 네트워크 1,2,3, 생성적 적대 네트워크 4,5,6,7, 자동 회귀 트랜스포머 8,9, 확산 모델 10,11,12 등 다양한 접근 방식을 사용하여 생성 모델을 사용한 비디오 데이터 모델링을 탐색했습니다. 이러한 연구는 일반적으로 특정 종류의 시각 데이터, 짧은 비디오 또는 고정 크기 비디오에 초점을 맞췄습니다. 는 다양한 길이, 종횡비, 해상도의 동영상과 이미지를 생성할 수 있는 시각 데이터의 일반화된 모델링 모델로, 최대 1분 분량의 HD 동영상까지 생성할 수 있습니다.

 

시각적 데이터의 혁신적인 변환: 패치 기술

인터넷 규모의 데이터를 처리하고 만능 기술을 개발하는 데 있어 대규모 언어 모델(LLM)의 성공에 영감을 받아13,14 유사한 장점을 시각 데이터 생성 모델에 적용할 수 있는 방법을 모색했습니다. 대규모 언어 모델은 다음을 사용하여 개발되었습니다. 토큰 -- 는 코드, 수학, 여러 자연어 처리를 통합하는 효율적인 방법으로 모드 간 원활한 전환을 가능하게 합니다. 이 연구에서는 시각적 영역에 대응하는 방법을 소개합니다.패치(패치). 패치는 시각적 데이터 표현의 효율적인 형태이며15,16,17,18 다양한 비디오 및 이미지 데이터를 처리하는 제너레이티브 모델의 능력을 크게 향상시킬 수 있다는 것이 밝혀졌습니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]
그림 1: 패치 개략도

구체적으로, 먼저 비디오 데이터를 저차원 잠재 공간19으로 압축한 다음 시공간 패치로 분해하여 비디오-패치 변환을 달성합니다.

 

비디오 압축 네트워크

우리는 원시 비디오 데이터를 처리하고 시간과 공간 모두에서 압축된 잠재 표현을 생성할 수 있는 차원 축소 기법20을 개발했으며, 소라는 이 압축된 잠재 공간에서 학습을 거쳐 새로운 비디오 콘텐츠를 생성할 수 있습니다. 또한 이러한 잠재적 표현을 픽셀 수준의 비디오 이미지로 줄일 수 있는 디코더를 개발했습니다.

 

타임 패치 기술

압축된 비디오 입력을 처리함으로써 모델에서 트랜스포머 토큰과 유사한 역할을 하는 일련의 시공간적 패치를 추출할 수 있습니다. 기본적으로 이미지를 하나의 비디오 프레임으로 간주할 수 있기 때문에 이 방식은 이미지 처리에도 적용 가능하다는 점에 주목할 필요가 있습니다. 패치 기반 표현을 사용하여 Sora는 해상도, 길이, 화면비가 다른 동영상과 이미지에 적응할 수 있습니다. 새로운 비디오 콘텐츠를 생성할 때 무작위로 초기화된 패치를 원하는 크기의 그리드에 배열하여 최종 비디오의 크기와 형태를 제어할 수 있습니다.

 

비디오 생성을 위한 트랜스포머 확장

Sora는 확산 모델21,22,23,24,25로, 노이즈가 있는 이미지 덩어리(및 텍스트 단서와 같은 조건부 정보)를 입력으로 받아들일 수 있으며, 원래의 "명확한" 이미지 덩어리를 예측하도록 훈련됩니다. 소라는 확산 트랜스포머이며, 트랜스포머 기술은 언어 모델링13,14 , 컴퓨터 비전15,16,17,18 , 이미지 생성27,28,29 등 여러 영역에서 뛰어난 확장성을 입증한 바 있다는 점에 주목할 필요가 있습니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]
그림 확산

이 연구에서는 확산 기반 트랜스포머가 비디오 모델링 영역에서도 효율적으로 확장된다는 사실을 발견했습니다. 다음 섹션에서는 훈련 중 고정된 시드 및 입력 조건에서 비디오 샘플을 비교하여 훈련 리소스의 증가로 인한 샘플 품질이 크게 향상되었음을 보여줍니다.

기본 계산

4배 계산

16배 계산

 

다양한 동영상 길이, 해상도 및 화면 비율

기존의 이미지 및 동영상 생성 방법은 일반적으로 256x256 해상도로 처리된 4초 길이의 동영상과 같은 표준 크기로 동영상의 크기를 조정합니다. 동영상의 원본 크기로 직접 교육하는 것이 여러 가지 이점을 제공한다는 사실을 발견했습니다.

 

유연한 샘플링 기능

Sora는 와이드스크린용 1920x1080p, 세로용 1080x1920 등 다양한 크기의 동영상을 제작할 수 있습니다. 이를 통해 Sora는 다양한 디바이스의 기본 화면 비율에 맞는 콘텐츠를 직접 제작할 수 있습니다. 또한 동일한 모델에서 전체 해상도 콘텐츠를 생성하기 전에 더 작은 크기의 콘텐츠를 빠르게 프로토타입으로 제작할 수 있습니다.

구성 및 레이아웃 최적화

실험 결과, 동영상의 기본 화면 비율로 학습하면 동영상의 구성과 레이아웃 품질이 크게 향상되는 것으로 나타났습니다. 생성 모델을 훈련할 때 일반적으로 사용하는 모든 훈련 동영상을 정사각형으로 자르는 다른 훈련 모델과 Sora를 비교했습니다. Sora가 생성한 비디오(오른쪽)는 피사체가 일부만 보이는 사각형으로 잘린 모델(왼쪽)보다 더 나은 구도의 결과를 보여줍니다. 반면에 Sora는 전체 장면을 더 잘 포착할 수 있습니다.

언어 이해

텍스트에서 동영상을 생성할 수 있는 시스템을 개발하려면 많은 수의 동영상과 그에 해당하는 텍스트 설명이 필요합니다. DALL-E 330에 도입된 리라벨링 기법을 사용하여 동영상에 적용했습니다. 먼저 상세한 설명을 생성할 수 있는 모델을 학습시킨 다음, 이 모델을 사용하여 학습 세트의 모든 동영상에 대한 텍스트 설명을 생성했습니다. 설명력이 높은 동영상 설명으로 훈련하면 텍스트의 정확도가 향상될 뿐만 아니라 동영상의 전반적인 품질도 크게 향상되는 것을 확인했습니다.

DALL-E 3와 마찬가지로, 저희도 GPT를 사용하여 짧은 사용자 프롬프트를 자세한 지침으로 변환한 다음 동영상 생성 모델로 전송합니다. 이 과정을 통해 Sora는 사용자의 지시에 따라 고품질의 동영상을 제작할 수 있습니다.

 

언어 이해 능력의 예(확대하려면 클릭)
[동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt- 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4 [/비디오팩] [비디오팩 width="640" height="360" downloadlink=" true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Mumbai-India-during- a-winter-storm.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing- 청바지와 흰색 티셔츠를 입고 인도 뭄바이를 산책하는 즐거운 축제.mp4[/videopack][videopack width= "640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant -아름다운 일몰이 펼쳐지는 요하네스버그-남아프리카 산책.mp4[/videopack][videopack width="640" height="360" downloadlink="true" https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Johannesburg-South-Africa -겨울 폭풍 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman- 파란색 청바지와 흰색 티셔츠를 입고 요하네스버그-남아프리카공화국-색색의-축제 기간 동안 즐거운 산책을 하는 모습.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white -티셔츠-입고-남극에서-즐거운-산책을-하며-아름다운-일몰을-보는-남극.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in- 겨울 폭풍이 몰아치는 남극 대륙.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/ 파란색 청바지와 흰색 티셔츠를 입고 남극 대륙을 즐겁게 산책하는 여성.mp4[/videopack][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat- 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4 [/비디오팩][videopack width="640" height="360" downloadlink=" true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Mumbai-India-during-a- winter-storm.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a- 초록색 드레스와 모자를 쓰고 인도 뭄바이를 산책하는 즐거운 축제.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll- 요하네스버그-남아프리카-남아프리카-아름다운 일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:/ /cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during-a- winter-storm.mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a- 초록색 드레스와 모자를 쓰고 요하네스버그-남아프리카-남아프리카-컬러풀-축제 기간 동안 즐거운 산책.mp4 [/비디오팩][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat- 남극에서 아름다운 일몰을 감상하며 산책하기.mp4 [/비디오팩][videopack width="640" height="360" downloadlink=" true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a- winter-storm.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a- 초록색 드레스와 모자를 쓰고 남극 대륙을 산책하는 즐거운 축제.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant- 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn. openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-mumbai-india-during-a-winter-storm. mp4[/비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls- 카우보이 부츠를 신고 인도 뭄바이를 산책하는 즐거운 축제.mp4[/videopack][videopack width="640" height=" 360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in- 요하네스버그-남아프리카-남아프리카-아름다운-일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:// cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during 동안 보라색 작업복과 카우보이 부츠를 입은 여성 -a-winter-storm.mp4[/비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing- 보라색 작업복과 카우보이 부츠를 신고 요하네스버그에서 즐거운 산책을 즐기는 남아프리카공화국 축제.mp4[/videopack][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots- 남극에서 아름다운 일몰을 감상하며 산책하기.mp4 [/비디오팩][videopack width="640" height="360" downloadlink=" true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-Antarctica-during- a-winter-storm.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing- 보라색 작업복과 카우보이 부츠를 신고 남극 대륙을 산책하는 즐거운 축제.mp4 [/비디오팩] [비디오팩 너비= "640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a- 인도 뭄바이의 아름다운 일몰을 즐기는 기분 좋은 산책.mp4[/videopack][videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Mumbai-India-during-a- winter-storm.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/an-old-man-wearing- 청바지와 흰색 티셔츠를 입고 인도 뭄바이를 산책하는 즐거운 축제.mp4 [/비디오팩] [비디오팩 너비= "640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a- 즐거운 산책-요하네스버그-남아프리카-남아프리카-아름다운-일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in- 요하네스버그-남아프리카공화국-겨울 폭풍우 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn. openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-johannesburg-South-Africa-during-a colourful-festival.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man- 푸른 청바지와 흰 티셔츠를 입고 남극 대륙을 산책하며 아름다운 일몰을 즐기는 모습.mp4 [/비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a -즐거운 남극에서의 겨울 폭풍 산책.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:// cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-colourful-period festival.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a- 녹색 드레스와 모자를 쓰고 인도의 아름다운 일몰을 즐기며 산책하는 뭄바이.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant- 겨울 폭풍이 몰아치는 인도 뭄바이 산책.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn. openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-mumbai-india-during-a-colourful-. festival.mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a- 초록색 드레스와 모자를 쓰고 요하네스버그-남아프리카-남아프리카에서 아름다운 일몰을 즐기는 산책.mp4 [/videopack][ 비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat- 겨울 폭풍이 몰아치는 요하네스버그에서 즐거운 산책하기.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in- 요하네스버그-남아프리카공화국-컬러풀-축제 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:// cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a-beautiful-... sunset.mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green -드레스-앤-선-모자-쓰고-남극에서-겨울-폭풍-속-산책.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in- 남극의 다채로운 축제.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/ tmp/s/보라색 작업복과 카우보이 부츠를 입고 인도 뭄바이를 산책하는 노인[//mp4]의 아름다운 석양[//mp4 비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and -카우보이 부츠-인도-뭄바이-인도-겨울 폭풍 속 즐거운 산책.mp4 [/비디오팩] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in- 뭄바이-인도-컬러풀-축제 중.mp4[/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com /tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-johannesburg-south-africa-during-a- beautiful-sunset.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man- 보라색 작업복과 카우보이 부츠를 신고 요하네스버그-남아프리카공화국-겨울 폭풍우 속에서 즐거운 산책.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and -카우보이-부츠-촬영-즐거운-산책-요하네스버그-남아프리카-남아프리카-컬러풀-축제 중.mp4 [/ videopack] [videopack width="640 " height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a- 즐거운 남극 산책과 아름다운 일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https. //cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-winter- during-a-winter- storm.mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple- 오버올과 카우보이 부츠를 신고 남극을 산책하는 즐거운 축제.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant- 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn. openai.com/tmp/s/a-toy-로봇이 파란색 청바지와 흰색 티셔츠를 입고 겨울 폭풍이 몰아치는 인도 뭄바이에서 즐거운 산책을 하고 있습니다. .mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans- 그리고-흰색-티셔츠-입고-인도-뭄바이-인도의-컬러풀-축제-도중-즐거운-산책.mp4[/videopack][videopack width="640" height ="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll -요하네스버그-남아프리카-남아프리카의 아름다운 일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https. //cdn.openai.com/tmp/s/a-toy-로봇이 파란색 청바지와 흰색 티셔츠를 입고 요하네스버그-남아프리카공화국을 산책하고 있다. during-a-winter-storm.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot -파란색 청바지와 흰색 티셔츠를 입고 요하네스버그에서 즐거운 산책을 즐기는 남아프리카공화국.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a- white-t-shirt-taking-a-pleasant-stroll-in-Antarctica-during-a-beautiful-sunset.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in- 겨울 폭풍이 몰아치는 남극 대륙.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/ 파란색 청바지와 흰색 티셔츠를 입고 남극에서 즐거운 산책을 하는 장난감 로봇.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and- 아름다운 일몰이 지는 인도 뭄바이에서 즐거운 산책하기.mp4 [/비디오팩] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in- 뭄바이-인도-겨울 폭풍우 중.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/ 초록색 드레스와 모자를 쓰고 인도 뭄바이에서 즐거운 산책을 하는 장난감 로봇.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and- 요하네스버그-남아프리카공화국에서 아름다운 일몰을 감상하며 산책을 즐기는 태양 모자.mp4[/비디오팩][비디오팩 width="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant- 요하네스버그-남아프리카공화국-겨울 폭풍우 속 산책.mp4 [/비디오팩] [videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Johannesburg-South-Africa -컬러풀 축제 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/a-toy -로봇이 초록색 드레스와 모자를 쓰고 남극 대륙을 산책하는 아름다운 일몰.mp4[/비디오팩][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat- 겨울 폭풍이 몰아치는 남극에서 즐거운 산책하기.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a- colourful-festival.mp4 [/videopack][videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/a-toy-robot- 보라색 작업복과 카우보이 부츠를 신고 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4 [/비디오팩][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy- 겨울 폭풍이 몰아치는 인도 뭄바이에서 부츠를 신고 산책하기.mp4[/videopack][videopack width="640" height="360" downloadlink= "true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-Mumbai-India- 다채로운 축제 중.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy- 로봇이 보라색 작업복과 카우보이 부츠를 입고 요하네스버그에서 아름다운 일몰을 즐기며 산책하는 모습.mp4 [/비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls- 카우보이 부츠를 신고 겨울 폭풍 속에서 요하네스버그에서 즐거운 산책을 즐기는 남아프리카공화국.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking-a- 즐거운 산책-요하네스버그-남아프리카공화국-컬러풀-축제 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in- 남극의 아름다운 일몰.mp4[/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/ tmp/s/a-toy-로봇이 보라색 작업복과 카우보이 부츠를 입고 겨울 폭풍이 몰아치는 남극 대륙을 산책하는 모습.mp4[/ / 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls- 카우보이 부츠를 신고 남극을 산책하는 즐거운 축제.mp4 [/비디오팩][videopack width="640" height="360 " downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant- 인도 뭄바이에서 아름다운 일몰을 감상하며 산책하기.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn. openai.com/tmp/s/아름다운 캥거루가 파란색 청바지와 흰색 티셔츠를 입고 인도 뭄바이에서 즐거운 산책을 하고 있습니다. winter-storm.mp4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo -파란색 청바지와 흰색 티셔츠를 입고-인도-뭄바이에서-즐거운-산책을-하며-컬러풀-축제-도중.mp4[/videopack][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a- white-t-shirt-taking-a-쾌한 산책-인-요하네스버그-남아프리카-아프리카-아름다운-일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a-white-t-shirt-taking-a- 즐거운 요하네스버그-남아프리카공화국-겨울 폭풍우 속 산책.mp4[/videopack][videopack width="640" height="360" downloadlink=" true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in- 요하네스버그-남아프리카공화국-컬러풀-축제 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:// cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-쾌한-산책 중 beautiful-sunset.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable- 푸른 청바지와 흰 티셔츠를 입고 남극 대륙을 산책하는 캥거루.mp4[/videopack][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-blue-jeans-and-a- white-t-shirt-taking-a-pleasant-stroll-in-Antarctica-during-a-colourful-festival.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll -인-뭄바이-인도-아름다운-일몰 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai. com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-mumbai-india-during-a-winter-storm. MP4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a- 초록색 드레스와 태양 모자를 쓰고 인도 뭄바이를 산책하는 즐거운 축제.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a- 즐거운 산책-요하네스버그-남아프리카-남아프리카-아름다운-일몰.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll -요하네스버그-남아프리카공화국-겨울 폭풍우 속.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https:// cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Johannesburg-South- 아프리카-컬러풀-축제 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s /사랑스러운 캥거루가 초록색 드레스와 모자를 쓰고 남극에서 아름다운 일몰을 즐기며 산책하는 모습.mp4[/ 동영상팩][동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green- 드레스-앤-썬-모자-착용하고-남극에서-겨울-폭풍-속-산책.mp4 [/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll -in-Antarctica-during-a-colourful-festival.mp4[/비디오팩][videopack width="640" height="360" downloadlink="true"]https://cdn.openai. com/tmp/s/사랑스러운 캥거루가 보라색 작업복과 카우보이 부츠를 입고 인도 뭄바이에서 즐거운 산책을 하고 있습니다. beautiful-sunset.mp4 [/videopack] [videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable- 캥거루가 보라색 작업복과 카우보이 부츠를 입고 인도 뭄바이에서 즐거운 산책을 즐기는 겨울 폭풍우.mp4 [/비디오팩][/비디오팩][ 동영상팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-purple-overalls-and- 카우보이 부츠를 신고 인도 뭄바이를 산책하는 즐거운 축제.mp4[/videopack][videopack width="640" height="360" downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant- 요하네스버그-남아프리카-남아프리카-아름다운 일몰 중 산책.mp4 [/비디오팩] [videopack width="640" height="360" downloadlink="true"] https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in- 요하네스버그-남아프리카-겨울 폭풍우 중.mp4[/videopack][videopack width="640" height="360" downloadlink="true"] https://cdn. openai.com/tmp/s/사랑스러운 캥거루가 보라색 작업복과 카우보이 부츠를 입고 요하네스버그 남쪽을 산책하고 있습니다. 아프리카-컬러풀-축제-도중.mp4[/비디오팩][비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s /보라색 작업복과 카우보이 부츠를 입은 사랑스러운 캥거루가 아름다운 일몰을 보며 남극을 산책하고 있습니다. MP4 [/비디오팩] [비디오팩 너비="640" 높이="360" 다운로드링크="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing- 보라색 작업복과 카우보이 부츠를 신고 겨울 폭풍이 몰아치는 남극에서 즐거운 산책하기.mp4 [/비디오팩]

 

사진 및 동영상용 큐 기능

웹사이트에 표시되는 모든 예시와 동영상은 텍스트에서 변환된 것입니다. 하지만 Sora는 이미지나 기존 동영상도 입력으로 받을 수 있습니다. 이 기능을 통해 Sora는 끊김 없는 반복 동영상 만들기, 정지 이미지 애니메이션, 동영상 재생 시간 연장 등 다양한 이미지 및 동영상 편집 작업을 수행할 수 있습니다.

 

DALL-E 사진 이동하기

사진 한 장과 프롬프트만으로 Sora는 동영상을 만들 수 있습니다. DALL-E 231 및 DALL-E 330 이미지를 기반으로 생성된 동영상의 몇 가지 예는 다음과 같습니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]

베레모와 검은색 터틀넥을 입은 시바견.

Sora视频生成模型：构建虚拟世界的模拟器 [译]

다양한 몬스터가 포함된 가족의 그래픽 디자인 스타일의 일러스트레이션입니다. 털복숭이 갈색 몬스터, 촉수가 달린 매끈한 검은색 몬스터, 점박이 녹색 몬스터, 물방울 무늬가 있는 작은 몬스터가 쾌적한 환경에서 상호 작용합니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]

"SORA"라는 단어로 사실적인 구름 이미지를 형성합니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]

화려하게 장식된 역사적인 홀에서 거대한 파도가 밀려올 준비를 하고 있습니다. 두 명의 서퍼가 능숙하게 파도를 타기 위해 기회를 포착합니다.

 

비디오 시간 늘리기

Sora는 동영상을 앞뒤로 확장할 수도 있습니다. 아래는 모두 생성된 비디오 클립으로 시작하여 뒤로 확장되는 네 개의 비디오입니다. 따라서 이 네 개의 동영상은 시작은 다르지만 모두 같은 끝으로 수렴합니다.

이 기술을 사용하여 비디오를 앞뒤로 확장하여 완벽한 무한 루프 효과를 만들 수 있었습니다.

 

혁신적인 비디오 대 비디오 편집

확산 모델링은 텍스트 단서를 기반으로 이미지 및 동영상 편집의 새로운 지평을 열었습니다. 다음으로, 이러한 혁신 기술 중 하나인 SDEdit32를 사용하여 Sora에 적용했는데, 이 기술은 사전 예제 없이도 동영상의 스타일과 환경을 변경할 수 있는 기술입니다. 이 기술은 사전 예제 없이도 동영상의 스타일과 환경을 변경할 수 있도록 지원합니다.

비디오 입력

설정을 무성한 정글로 변경합니다.

설정을 1920년대로 변경하고 구식 캡처 거부 심볼을 사용하여 빨간색이 유지되는지 확인합니다.

수중으로 만드세요.

동영상 설정을 산이 아닌 다른 장면으로 변경하고 싶으신가요? 조슈아 트리는 어떨까요?

무지개 경로가 있는 공간에 동영상을 배치합니다.

동영상은 동일하게 유지하되 겨울로 설정합니다.

클레이 애니메이션 스타일로 제작되었습니다.

흑백인지 확인하면서 목탄 드로잉 스타일로 다시 만듭니다.

설정을 사이버펑크로 변경합니다.

동영상을 중세 테마로 변경합니다.

공룡을 만들 수 있습니다.

픽셀 아트 스타일로 동영상을 다시 작성합니다.

 

동영상 간 부드러운 전환

또한 Sora를 사용하여 서로 다른 두 개의 동영상을 매끄럽게 연결하여 마치 하나의 동영상처럼 자연스럽게 전환할 수 있습니다. 아래 예시에서는 가운데의 동영상이 왼쪽과 오른쪽 동영상의 요소를 미묘하게 혼합한 것을 볼 수 있습니다.

마법 같은 이미지 제작

놀라운 이미지를 만들어내는 소라의 능력은 동영상에만 국한되지 않습니다. 한 프레임 길이에 불과한 공간 그리드에 가우시안 노이즈 블록을 배열하는 방식으로 이 마법을 실현합니다. 이러한 방식으로 Sora는 최대 2048x2048 해상도까지 모든 크기의 이미지를 생성할 수 있습니다.

Sora视频生成模型：构建虚拟世界的模拟器 [译]

가을날 한복판의 여인을 클로즈업하여 놀라운 디테일과 놀라울 정도로 얕은 피사계 심도로 표현한 사진입니다.

 

Sora视频生成模型：构建虚拟世界的模拟器 [译]

다채로운 물고기와 해양 생물이 살아 숨 쉬는 활기찬 산호초를 만나보세요.

 

Sora视频生成模型：构建虚拟世界的模拟器 [译]

사과나무 아래 어린 호랑이의 디지털 아트워크는 무광택 페인팅 스타일로 섬세한 아름다움을 보여줍니다.

 

Sora视频生成模型：构建虚拟世界的模拟器 [译]

눈 덮인 산악 마을, 아늑한 오두막, 오로라가 마치 50mm f/1.2 렌즈의 DSLR로 촬영한 것처럼 정교하고 섬세하게 펼쳐집니다.

 

 

새로운 시뮬레이션 기능

대규모 훈련에서 이 비디오 모델은 매력적인 일련의 긴급 기능을 보여주었습니다. 이러한 기능을 통해 소라는 실제 사람, 동물, 환경을 어느 정도 시뮬레이션할 수 있는 능력을 갖추게 되었습니다. 이러한 새로운 기능은 3D 공간, 오브젝트 등에 대해 미리 결정된 특정 선호도가 필요하지 않으며 순전히 데이터의 규모에 따라 결정되는 결과입니다.

3차원 공간 일관성. Sora는 역동적인 시점의 변화가 있는 동영상을 생성합니다. 카메라 위치와 각도가 변함에 따라 동영상 속 캐릭터와 장면 요소가 3차원 공간에서 일관되게 움직일 수 있습니다.

장거리 연속성 및 개체 지속성. 긴 동영상을 생성할 때 시간적 연속성을 유지하는 것은 어려운 일이었습니다. 소라는 일반적으로 단거리 및 장거리 종속성을 모두 효과적으로 처리할 수 있는 것으로 나타났습니다. 예를 들어, 우리 모델은 캐릭터, 동물 또는 사물이 가려지거나 프레임 밖으로 이동하더라도 그 존재감을 지속적으로 유지할 수 있습니다. 마찬가지로, 동일한 동영상 샘플에서 동일한 캐릭터를 여러 번 표시하여 전체적으로 일관된 모습을 유지할 수 있습니다.

세상과의 소통. 소라는 때때로 단순히 세상의 상태에 영향을 미치는 행동을 시뮬레이션할 수 있습니다. 예를 들어 화가가 캔버스에 남긴 붓터치가 시간이 지나도 지속되거나 햄버거를 먹은 사람이 남긴 물린 자국이 지속되는 것을 시뮬레이션할 수 있습니다.

디지털 세상의 아날로그. 소라는 비디오 게임과 같은 디지털 프로세스를 시뮬레이션할 수도 있습니다. 게임 세계와 그 역학을 고품질로 렌더링하는 동시에 기본적인 조작으로 Minecraft 게임 캐릭터를 제어할 수 있습니다. 이러한 기능은 "Minecraft"라는 단어를 큐로 언급하는 것만으로 작동할 수 있습니다.

이러한 기능은 비디오 모델링의 규모가 계속 확장되면서 그 안에 있는 사물, 동물, 사람 등 디지털 세계뿐만 아니라 물리적 세계를 고도로 시뮬레이션할 수 있는 고급 시뮬레이터의 개발이 유망하다는 것을 보여줍니다.

 

대화

현재 소라는 시뮬레이터로서 많은 한계가 있습니다. 예를 들어 유리 깨기와 같은 기본적인 물리적 상호작용을 정확하게 시뮬레이션할 수 없습니다. 음식을 먹는 것과 같은 일부 상호작용은 물체의 상태 변화를 항상 정확하게 반영하지 못합니다. 유니티는OpenAI 소라 소개 페이지긴 비디오 샘플의 불일치 또는 물체의 갑작스러운 출현과 같은 문제를 포함하여 모델의 다른 일반적인 오류에 대해 자세히 설명합니다.

유니티는 소라의 기존 역량을 통해 비디오 모델을 지속적으로 확장하는 것이 물리적 세계와 디지털 세계, 그리고 그 안에 있는 사물, 동물, 인간을 정확하게 모델링할 수 있는 고급 시뮬레이터를 개발하는 데 유망한 방법임을 알 수 있습니다.

 

참조

  1. 스리바스타바, 니티시, 엘만 만시모프, 루슬란 살라후디노프. "lstms를 사용한 비디오 표현의 비지도 학습." 국제 머신러닝 컨퍼런스. 기계 학습 컨퍼런스. PMLR, 2015.

  2. 치아파, 실비아 외. "반복 환경 시뮬레이터." arXiv preprint arXiv:1704.02254 (2017).

  3. 하, 데이비드, 위르겐 슈미트후버. "세계 모델." arXiv 프리프린트 arXiv:1803.10122 (2018).

  4. 본드릭, 칼, 하메드 피르시아바시, 안토니오 토랄바. "장면 역학으로 비디오 생성."신경 정보 처리 시스템의 발전 29 (2016).

  5. "Mocogan: 비디오 생성을 위한 모션 및 콘텐츠 분해." IEEE 컨퍼런스 자료집(영문). 컴퓨터 비전 및 패턴 인식. 2018.

  6. 클라크, 에이든, 제프 도나휴, 카렌 시모니안. "복잡한 데이터 세트에서 적대적인 비디오 생성." arXiv 사전 인쇄본 arXiv:1907.06571 (2019).

  7. 브룩스, 팀 외. "동적 장면의 긴 동영상 생성." 신경 정보 처리 시스템 35 (2022): 31769-31781.

  8. "Videogpt: vq-vae 및 트랜스포머를 사용한 비디오 생성." arXiv 사전 인쇄물 arXiv:2104.10157 (2021).

  9. "Nüwa: 신경 시각 세계 생성을 위한 시각 합성 사전 훈련." 컴퓨터 비전에 관한 유럽 컨퍼런스. Cham: Springer. Cham: Springer Switzerland, 2022.

  10. "이미지 비디오: 확산 모델을 사용한 고화질 비디오 생성." arXiv 프리프린트 arXiv:2210.02303 (2022).

  11. "잠재적 확산 모델을 사용한 고해상도 비디오 합성: 잠재적 확산 모델을 정렬하세요." IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스 2023.

  12. 굽타, 아그림 외. "확산 모델을 사용한 사실적인 비디오 생성." arXiv 사전 인쇄물 arXiv:2312.06662 (2023).

  13. 바스와니, 아시시 외. "관심만 있으면 됩니다." 신경 정보 처리 시스템의 발전 30 (2017).

  14. 브라운, 톰 외. "언어 모델은 단발성 학습자입니다." 신경 정보 처리 시스템의 발전 33 (2020): 1877-1901.

  15. 도소비츠키, 알렉세이 외. "이미지는 16x16 단어의 가치가 있다: 대규모 이미지 인식을 위한 트랜스포머." arXiv 프리프린트 arXiv:2010.11929 (2020).

  16. 아르납, 아누라그 외. "Vivit: 비디오 비전 트랜스포머." 컴퓨터 비전에 관한 IEEE/CVF 국제 컨퍼런스 자료집. 2021.

  17. "마스킹 자동 인코더는 확장 가능한 비전 학습기입니다." 컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 컨퍼런스 논문집. 2022.

  18. 데가니, 모스타파 외. "패치 앤 팩: 모든 종횡비와 해상도를 위한 비전 트랜스포머, NaViT." arXiv 사전 인쇄물 arXiv:2307.06304 (2023).

  19. "잠복 확산 모델을 사용한 고해상도 이미지 합성." 컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 컨퍼런스 논문집. 2022.

  20. 킹마, 디데릭 P., 맥스 웰링 "변형 베이즈 자동 인코딩." arXiv 사전 인쇄물 arXiv:1312.6114 (2013).

  21. "비평형 열역학을 이용한 심층 비지도 학습." 소울-딕스타인, 자샤 외. "비평형 열역학을 이용한 심층 비지도 학습." 머신 러닝 관련 국제 컨퍼런스. PMLR, 2015.

  22. 호, 조나단, 아제이 자인, 피터 아빌. "노이즈 제거 확산 확률 모델." 신경 정보 처리 시스템의 발전 33 (2020): 6840-6851.

  23. 니콜, 알렉산더 퀸, 프라풀라 다리왈. "노이즈 제거 확산 확률 모델 개선." 머신 러닝 국제 컨퍼런스. PMLR, 2021.

  24. 다리왈, 프라풀라, 알렉산더 퀸 니콜. "확산 모델이 이미지 합성에서 GAN을 이겼습니다." 신경 정보 처리 시스템의 발전. 2021.

  25. 카라스, 테로 외. "확산 기반 생성 모델의 설계 공간 해명." 신경 정보 처리 시스템의 발전 35 (2022): 26565-26577.

  26. 피블스, 윌리엄, 사이닝 시에. "트랜스포머를 사용한 확장 가능한 확산 모델." 컴퓨터 비전에 관한 IEEE/CVF 국제 컨퍼런스 논문집. 2023.

  27. 첸, 마크 외. "픽셀을 통한 생성적 사전 학습." 머신 러닝 관련 국제 컨퍼런스. PMLR, 2020.

  28. "제로 샷 텍스트-이미지 생성." 라메시, 아디트 외. "제로 샷 텍스트-이미지 생성." 머신 러닝 국제 컨퍼런스. PMLR, 2021.

  29. "콘텐츠가 풍부한 텍스트-이미지 생성을 위한 자동 회귀 모델 확장." arXiv 사전 인쇄물 arXiv:2206.10789 2.3 (2022): 5.

  30. 베커, 제임스 외. "더 나은 캡션으로 이미지 생성 개선하기." 컴퓨터 과학. https://cdn.openai.com/papers/dall-e-3. pdf 2.3 (2023): 8

  31. "클립 잠재력을 이용한 계층적 텍스트 조건부 이미지 생성." Ramesh, Aditya 외. "클립 잠재력을 이용한 계층적 텍스트 조건부 이미지 생성." arXiv 사전 인쇄물 arXiv:2204.06125 1.2 (2022): 3.

  32. "Sdedit: 확률 미분 방정식을 사용한 안내식 이미지 합성 및 편집." arXiv 프리프린트 arXiv:2108.01073 (2021).

작성자

감사

인용

인용은 OpenAI 외로 표기하고, 인용 시에는 다음 빕텍스를 사용해 주세요. https://openai.com/bibtex/videoworldsimulators2024.bib

© 저작권 정책
기사 저작권 AI 공유 서클 모두 무단 복제하지 마세요.

관련 문서

댓글 없음

댓글에 참여하려면 로그인해야 합니다!
지금 로그인
없음
댓글 없음...

선택한 AI 도구

최신 컬렉션

최신 기사