AnimeGamer: инструмент с открытым исходным кодом для создания аниме-видео и взаимодействия персонажей с помощью лингвистических команд

Общее введение

AnimeGamer - это инструмент с открытым исходным кодом от лаборатории ARC Lab компании Tencent. Пользователи могут создавать аниме-видео с помощью простых лингвистических команд, например "Sousuke drive around in a purple car", и заставлять различных аниме-персонажей взаимодействовать друг с другом, например Kiki из Magical Girl's Adventure и Pazu из Castle in the Sky. В основе проекта лежит модель Multimodal Large Language Model (MLLM), которая автоматически создает связные анимированные сегменты, одновременно обновляя статус персонажа, например, выносливость или социальные ценности. Код проекта и модель бесплатны и открыты на GitHub для поклонников аниме и разработчиков, которые могут использовать их для создания или экспериментов.

Список функций

• Генерировать анимационное видео: команды на языке ввода для автоматического создания анимационных роликов с движениями персонажей и сценами.
• Поддержка взаимодействия персонажей: позволяйте различным героям аниме встречаться и взаимодействовать, чтобы создавать новые истории.
• Обновление статуса персонажа: запись в реальном времени изменений в таких показателях персонажа, как выносливость, социальная сфера и развлечения.
• Обеспечьте постоянство контента: обеспечьте постоянство видео и статусов в соответствии с историческими инструкциями.
• Расширения с открытым исходным кодом: предоставляется полный код и модели, и разработчики могут свободно их адаптировать.

Использование помощи

AnimeGamer требует некоторого знания основ программирования, но установка и использование не представляют сложности. Ниже приведены подробные инструкции, которые помогут вам быстро начать работу.

Процесс установки

1. Подготовка среды
   Вам понадобится компьютер с поддержкой Python, желательно с GPU (не менее 24 ГБ видеопамяти). Установите Git и Anaconda, затем введите в терминале:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

Создайте виртуальную среду:

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. Установка зависимостей
   Работает в виртуальной среде:

pip install -r requirements.txt

Это позволит установить необходимые библиотеки, такие как PyTorch.

3. Скачать модели
   Загрузите три файла с моделями в ./checkpoints Папка:

• Модель AnimeGamer:Обнимающееся лицо.
• Модель "Мистраль-7B":Обнимающееся лицо.
• Модель 3D-VAE от CogvideoX: перейти на сайт checkpoints папку, запустить:

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

Убедитесь, что все модели находятся в правильном месте.

4. тестовая установка
   Вернитесь в домашний каталог и запустите программу:

python inference_MLLM.py

Отсутствие ошибки означает, что установка прошла успешно.

Как использовать основные функции

По своей сути AnimeGamer генерирует видео и взаимодействие персонажей с помощью словесных команд. Вот как это работает:

Создание аниме-видео

• перейти

1. компилятор ./game_demo командный файл в такой папке, как instructions.txt.
2. Введите команду, например, "Сосуке едет по лесу на фиолетовой машине".
3. Запустите MLLM, чтобы сгенерировать представление:

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. Декодирование в видео:

python inference_Decoder.py

5. Видео будет сохранено в ./outputs Папка.

• принимать к сведению
  Инструкции должны быть написаны с четкими персонажами, действиями и сценами, чтобы видео в большей степени соответствовало ожиданиям.

Взаимодействие персонажей

• перейти

1. Введите интерактивную команду, например, "Кики учит Пазузу летать на метле".
2. Выполните описанные выше действия, чтобы создать интерактивное видео.

• особенности
  Поддерживает смешивание и взаимодействие с различными аниме-персонажами для создания уникальных сцен.

Обновление статуса персонажа

• перейти

1. Добавьте к команде описание состояния, например, "Сосуке устал после бега".
2. быть в движении inference_MLLM.pyСтатус обновляется до ./outputs/state.json.

• привлекать внимание к чему-л.
  Статус автоматически корректируется в соответствии с историческими инструкциями для поддержания последовательности.

Персонализация и технические детали

Хотите изменить функцию? Вы можете отредактировать ее напрямую ./game_demo Техника AnimeGamer работает в три этапа:

1. Обработав представление действий с помощью кодера, диффузионный декодер формирует видео.
2. MLLM предсказывает следующее состояние на основе исторических инструкций.
3. Оптимизируйте декодер для улучшения качества видео.
   Более подробная информация содержится в файле README.md на GitHub.

последние события

• 2 апреля 2025 года: выпуск модельных весов и бумаги для "Дома ведьмы" и "Девочки с золотой рыбкой на утесе" (arXiv).
• 1 апреля 2025 года: выпущен код вывода.
• Планы на будущее: запуск интерактивных демо-версий Gradio и обучающего кода.

Часто задаваемые вопросы

• Медленное поколение? Убедитесь, что GPU имеет достаточно памяти (24 ГБ), или обновите драйверы.
• Загрузка модели не удалась? Загрузите вручную с сайта "Обнимая лицо".
• Сообщить об ошибке? Проверьте версию Python (требуется 3.10) и наличие зависимостей.

Выполнив эти действия, вы сможете создавать видеоролики аниме и взаимодействовать с персонажами с помощью AnimeGamer.

сценарий применения

1. создание аниме и манги
   Поклонники аниме могут использовать его для создания видеороликов, например, с взаимодействием различных персонажей, и делиться ими с друзьями.
2. Игровые тесты
   Разработчики могут использовать его для быстрого создания прототипов динамического контента и тестирования идей.
3. обучение в действии
   С его помощью студенты смогут изучить мультимодальные технологии и создание видео, а также получить практический опыт работы с искусственным интеллектом.

QA

1. Требуется знание программирования?
   Да, для установки и настройки требуются базовые знания Python, но простые команды будут работать.
2. Какие роли поддерживаются?
   Поддержка игр Magical Girl's Home Companion и Goldfish Hime on the Cliff уже сейчас, а в будущем планируется расширение.
3. Есть ли он в продаже?
   Да, но следуйте протоколу Apache-2.0, подробности см. на GitHub.