AnimeGamer: 언어 명령으로 애니메이션 동영상 및 캐릭터 상호작용을 생성하는 오픈 소스 도구

일반 소개

AnimeGamer는 텐센트 ARC Lab의 오픈 소스 툴입니다. 사용자는 "소우스케가 보라색 차를 타고 돌아다녀"와 같은 간단한 언어 명령으로 애니메이션 동영상을 생성하고, 마법의 소녀의 모험의 키키와 천공의 성 파주와 같은 다양한 애니메이션 캐릭터가 서로 상호 작용하도록 할 수 있습니다. 이는 체력이나 사회적 가치와 같은 캐릭터의 상태를 업데이트하면서 일관된 애니메이션 세그먼트를 자동으로 생성하는 MLLM(멀티모달 대규모 언어 모델)을 기반으로 합니다. 프로젝트 코드와 모델은 애니메이션 팬과 개발자가 제작하거나 실험하는 데 사용할 수 있도록 GitHub에서 무료로 공개되어 있습니다.

기능 목록

• 애니메이션 비디오 생성: 언어 명령을 입력하면 캐릭터의 움직임과 장면의 애니메이션 클립을 자동으로 생성합니다.
• 캐릭터 상호작용 지원: 다양한 애니메이션 캐릭터가 만나 상호작용하며 새로운 스토리를 만들어 보세요.
• 캐릭터 상태 업데이트: 체력, 소셜, 엔터테인먼트 등 캐릭터 값의 변화를 실시간으로 기록합니다.
• 콘텐츠 일관성 유지: 과거 지침에 따라 일관된 동영상과 상태를 유지합니다.
• 오픈 소스 확장: 완전한 코드와 모델이 제공되며 개발자는 이를 자유롭게 조정할 수 있습니다.

도움말 사용

AnimeGamer는 약간의 프로그래밍 기본 지식이 필요하지만 설치 및 사용 단계는 어렵지 않습니다. 다음은 빠르게 시작하는 데 도움이 되는 자세한 지침입니다.

설치 프로세스

1. 환경 준비하기
   Python 지원 컴퓨터가 필요하며, 가급적 GPU(비디오 메모리 24GB 이상)가 필요합니다. Git과 Anaconda를 설치한 다음 터미널에 입력합니다:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

가상 환경을 만듭니다:

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. 종속성 설치
   가상 환경에서 실행됩니다:

pip install -r requirements.txt

이렇게 하면 PyTorch와 같은 필요한 라이브러리가 설치됩니다.

3. 모델 다운로드
   세 가지 모델 파일을 다음 주소로 다운로드하세요. ./checkpoints 폴더:

• AnimeGamer 모델:포옹하는 얼굴.
• 미스트랄-7B 모델:포옹하는 얼굴.
• CogvideoX의 3D-VAE 모델: 바로가기 checkpoints 폴더를 실행합니다:

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

모델이 모두 올바른 위치에 있는지 확인합니다.

4. 테스트 설치
   홈 디렉토리로 돌아가서 실행합니다:

python inference_MLLM.py

오류가 없으면 설치가 성공했음을 의미합니다.

주요 기능 사용 방법

AnimeGamer의 핵심은 언어 명령을 사용하여 동영상과 캐릭터 상호작용을 생성하는 것입니다. 작동 방식은 다음과 같습니다:

애니메이션 동영상 생성

• 이동

1. 컴파일러 ./game_demo 명령 파일을 다음과 같은 폴더에 instructions.txt.
2. 예를 들어 "수스케가 숲에서 보라색 자동차를 타고 돌아다니고 있어요"와 같은 명령을 입력합니다.
3. MLLM을 실행하여 표현을 생성합니다:

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. 동영상으로 디코딩합니다:

python inference_Decoder.py

5. 동영상은 ./outputs 폴더.

• 다음 사항에 유의하십시오.
  동영상이 기대에 부합하도록 명확한 캐릭터, 동작 및 장면을 사용하여 설명서를 작성해야 합니다.

캐릭터 상호작용

• 이동

1. "키키에게 빗자루 날리는 법을 가르쳐줘"와 같은 대화형 명령을 입력합니다.
2. 위의 단계를 실행하여 인터랙티브 동영상을 생성합니다.

• 특수성
  다양한 애니메이션 캐릭터를 혼합하고 상호 작용하여 독특한 장면을 만들 수 있습니다.

캐릭터 상태 업데이트

• 이동

1. 명령에 상태 설명을 추가합니다(예: "Sousuke는 달리기 후 피곤합니다").
2. 움직여야 합니다. inference_MLLM.py상태가 다음과 같이 업데이트됩니다. ./outputs/state.json.

• STH에 주목하세요.
  상태는 일관성을 유지하기 위해 과거 지침에 따라 자동으로 조정됩니다.

사용자 지정 및 기술 세부 정보

기능을 변경하고 싶으신가요? 직접 편집할 수 있습니다. ./game_demo AnimeGamer의 기술은 세 단계로 작동합니다:

1. 인코더로 동작 표현을 처리하면 확산 디코더가 동영상을 생성합니다.
2. MLLM은 과거 지침을 기반으로 다음 상태를 예측합니다.
3. 디코더를 최적화하여 동영상 품질을 개선하세요.
   자세한 내용은 GitHub의 README.md에서 확인할 수 있습니다.

최신 개발 사항

• 2025년 4월 2일: '마녀의 집'과 '절벽 위의 금붕어 소녀'의 모델 무게와 논문 공개(arXiv).
• 2025년 4월 1일: 추론 코드 공개.
• 향후 계획: Gradio 대화형 데모 및 교육 코드 출시.

자주 묻는 질문

• 느린 세대? GPU에 충분한 메모리(24GB)가 있는지 확인하거나 드라이버를 업데이트하세요.
• 모델 다운로드에 실패하셨나요? 허깅 페이스에서 수동으로 다운로드합니다.
• 오류를 신고하시겠습니까? Python 버전(3.10 필요) 및 종속성을 확인합니다.

이 단계를 통해 애니메이션 동영상과 캐릭터 상호작용을 생성할 수 있습니다.

애플리케이션 시나리오

1. 애니메이션 및 만화 제작
   애니메이션 팬은 이를 사용하여 다양한 캐릭터가 상호 작용하는 등의 동영상을 생성하고 친구들과 공유할 수 있습니다.
2. 게임 테스트
   개발자는 이를 사용하여 동적 콘텐츠의 프로토타입을 빠르게 제작하고 아이디어를 테스트할 수 있습니다.
3. 행동으로 배우는 학습
   학생들은 이를 통해 멀티모달 기술과 동영상 생성에 대해 배우고 AI를 직접 체험할 수 있습니다.

QA

1. 프로그래밍 지식이 필요하신가요?
   예, 설치 및 튜닝을 위해서는 기본적인 Python 지식이 필요하지만 간단한 명령어로도 작동합니다.
2. 어떤 역할이 지원되나요?
   현재 마법 소녀의 집 동반자 및 절벽 위의 금붕어 히메를 지원하며 향후 확장될 예정입니다.
3. 상업적으로 이용 가능한가요?
   예, 하지만 Apache-2.0 프로토콜을 따릅니다. 자세한 내용은 GitHub를 참조하세요.