AnimeGamer: una herramienta de código abierto para generar vídeos de anime e interacciones de personajes con comandos lingüísticos

Introducción general

AnimeGamer es una herramienta de código abierto del ARC Lab de Tencent. Los usuarios pueden generar vídeos de anime con órdenes lingüísticas sencillas, como "Sousuke conduce un coche morado", y hacer que distintos personajes de anime interactúen entre sí, como Kiki de Magical Girl's Adventure y Pazu de Castle in the Sky. Se basa en el Multimodal Large Language Model (MLLM), que crea automáticamente segmentos animados coherentes mientras actualiza el estado del personaje, como su resistencia o sus valores sociales. El código del proyecto y el modelo son gratuitos y están abiertos en GitHub para que los aficionados al anime y los desarrolladores puedan utilizarlos para crear o experimentar.

Lista de funciones

• Generar vídeo de animación: introduzca comandos de lenguaje para generar automáticamente clips de animación de movimientos de personajes y escenas.
• Soporte para la interacción de personajes: Permite que diferentes personajes de anime se conozcan e interactúen para crear nuevas historias.
• Estado actualizado del personaje: registro en tiempo real de los cambios en los valores del personaje, como resistencia, sociales y de entretenimiento.
• Mantener la coherencia de los contenidos: garantizar la coherencia del vídeo y del estado en función de las instrucciones históricas.
• Extensiones de código abierto: se proporcionan el código y los modelos completos y los desarrolladores son libres de adaptarlos.

Utilizar la ayuda

AnimeGamer requiere un poco de conocimientos básicos de programación, pero los pasos de instalación y uso no son difíciles. Aquí hay instrucciones detalladas para ayudarle a empezar rápidamente.

Proceso de instalación

1. Preparar el entorno
   Necesitarás un ordenador con Python, preferiblemente con una GPU (al menos 24 GB de memoria de vídeo). Instala Git y Anaconda, luego escribe en la terminal:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

Crear un entorno virtual:

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. Instalación de dependencias
   Se ejecuta en un entorno virtual:

pip install -r requirements.txt

Esto instalará las librerías necesarias como PyTorch.

3. Descargar modelos
   Descargue los tres archivos modelo en ./checkpoints Carpeta:

• Modelo AnimeGamer:Cara de abrazo.
• Modelo Mistral-7B:Cara de abrazo.
• Modelo 3D-VAE de CogvideoX: ir a checkpoints carpeta, ejecuta:

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

Asegúrate de que todos los modelos están en el lugar correcto.

4. instalación de prueba
   Vuelva al directorio inicial y ejecútelo:

python inference_MLLM.py

Ningún error significa que la instalación se ha realizado correctamente.

Cómo utilizar las principales funciones

En esencia, AnimeGamer genera vídeos e interacciones de personajes utilizando comandos verbales. Así es como funciona:

Generar vídeos de anime

• mover

1. compilador ./game_demo en una carpeta como instructions.txt.
2. Introduce una orden, por ejemplo: "Sousuke está dando vueltas en un coche morado por el bosque".
3. Ejecute MLLM para generar una representación:

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. Decodificar a vídeo:

python inference_Decoder.py

5. El vídeo se guardará en la carpeta ./outputs Carpeta.

• tenga en cuenta
  Las instrucciones deben redactarse con personajes, acciones y escenas claras para que el vídeo se ajuste más a las expectativas.

Interacción con los personajes

• mover

1. Introduce un comando interactivo, como "Kiki enseña a Pazuzu a volar en escoba".
2. Sigue los pasos anteriores para generar un vídeo interactivo.

• especificidades
  Permite mezclar e interactuar con distintos personajes de anime para crear escenas únicas.

Actualizar el estado de los personajes

• mover

1. Añade una descripción de estado al comando, por ejemplo: "Sousuke está cansado después de correr".
2. estar en movimiento inference_MLLM.pyEl estado se actualizará a ./outputs/state.json.

• llamar la atención sobre algo
  El estado se ajusta automáticamente según las instrucciones históricas para mantener la coherencia.

Personalización y detalles técnicos

¿Quiere cambiar una característica? Puede editarla directamente ./game_demo La técnica de AnimeGamer funciona en tres pasos:

1. Procesando la representación de la acción con un codificador, el decodificador de difusión genera el vídeo.
2. MLLM predice el siguiente estado basándose en las instrucciones históricas.
3. Optimiza el descodificador para mejorar la calidad de vídeo.
   Encontrará más detalles en el archivo README.md de GitHub.

últimas novedades

• 2 de abril de 2025: publicación de los modelos de pesos y papeles de La casa de la bruja y La niña de los peces de colores en el acantilado (arXiv).
• 1 de abril de 2025: se publica el código de inferencia.
• Planes futuros: lanzar demos interactivas de Gradio y código de formación.

Preguntas frecuentes

• ¿Generación lenta? Confirme que la GPU tiene suficiente memoria (24 GB) o actualice los controladores.
• ¿Ha fallado la descarga del modelo? Descargar manualmente de Hugging Face.
• ¿Informar de un error? Compruebe la versión de Python (se requiere la 3.10) y sus dependencias.

Con estos pasos, podrás generar videos de anime e interacciones de personajes con AnimeGamer.

escenario de aplicación

1. creación de anime y manga
   Los aficionados al anime pueden utilizarlo para generar vídeos, por ejemplo haciendo interactuar a distintos personajes, y compartirlos con sus amigos.
2. Pruebas de juego
   Los desarrolladores pueden utilizarlo para crear rápidamente prototipos de contenidos dinámicos y probar ideas.
3. aprendizaje en acción
   Los estudiantes pueden utilizarlo para aprender sobre tecnología multimodal y generación de vídeo, y adquirir experiencia práctica con la IA.

CONTROL DE CALIDAD

1. ¿Necesita conocimientos de programación?
   Sí, se requieren conocimientos básicos de Python para la instalación y puesta a punto, pero funcionarán comandos sencillos.
2. ¿Qué funciones se apoyan?
   Soporte para Magical Girl's Home Companion y Goldfish Hime en el Acantilado ahora, con expansión en el futuro.
3. ¿Está disponible en el mercado?
   Sí, pero sigue el protocolo Apache-2.0, consulta GitHub para más detalles.