Index-AniSora - Modèle Open Source de génération de vidéos d'anime de B Station

Qu'est-ce que Index-AniSora ?

Index-AniSora est un modèle avancé de génération de vidéos d'animation open source par Beili Beili. Le modèle peut générer des vidéos d'animation cohérentes à partir d'une seule image et prendre en charge différents styles, tels que le drame, l'animation nationale, le contenu VTuber, etc. Le modèle est basé sur une architecture de modèle de diffusion, combinée à un auto-codeur de variante causale en 3D et à la technologie Transformer. Le modèle est basé sur une architecture de modèle de diffusion, combinée à un module de masque spatio-temporel, à un auto-codeur à variante causale 3D et à la technologie Transformer, pour réaliser la génération d'image-vidéo, l'interpolation de trame, le guidage local de l'image et d'autres fonctions. Index-AniSora fournit un ensemble de données de référence de 948 vidéos d'animation diverses pour l'évaluation, qui peut être utilisé dans la production d'animation, la création de contenu VTuber, la validation créative, l'éducation et la formation, ainsi que le marketing et le divertissement pour améliorer considérablement l'efficacité de la création.

Principales caractéristiques d'Index-AniSora

• Génération d'images en vidéoLe logiciel : Générer des vidéos animées cohérentes à partir d'une seule image, capable de transformer des images statiques en scènes dynamiques.
• interpolation de trameLes images intermédiaires sont générées automatiquement pour des transitions fluides et une réduction de l'effort de dessin manuel.
• Guidage local de l'imageLa fonction d'animation : elle prend en charge des zones spécifiques spécifiées par l'utilisateur pour la génération d'animations afin d'assurer un contrôle localisé.
• contrôle de l'espace-tempsLe logiciel de gestion de l'animation : combinant la capacité de contrôler le temps et l'espace, il prend en charge la première image, la dernière image, le guidage multi-image et bien d'autres méthodes pour créer des animations précises.
• Support de style polyvalentIl permet de générer des vidéos dans une variété de styles d'animation, y compris les fanfictions, les animations créées au niveau national, les adaptations de manga, le contenu VTuber, etc. pour répondre à différents besoins.

Adresse du site officiel d'Index-AniSora

• Dépôt GitHub: :https://github.com/bilibili/Index-anisora/
• Bibliothèque de modèles HuggingFace: :https://huggingface.co/IndexTeam/Index-anisora
• Document technique arXiv: :https://arxiv.org/pdf/2412.10255

Comment utiliser Index-AniSora

• Accès aux ressources du modèleTélécharger le code et les fichiers de modèle à partir du dépôt GitHub, ou charger des modèles pré-entraînés à partir du dépôt de modèles HuggingFace.
• Installation des dépendancesInstallation des paquets Python et des dépendances nécessaires, conformément au fichier README.md du projet.
• exemple de commande (informatique): :

pip install -r requirements.txt

• Préparation de la saisie des donnéesLes données d'entrée sont préparées en fonction des besoins, par ex :
  • Photo unique: Utilisé dans la génération d'images vidéo.
  • image clé: Utilisé dans l'interpolation de trame ou le contrôle spatio-temporel.
  • Spécifier le masque de la zone: Utilisé dans le guidage local de l'image.
• modèle opérationnel: Exécutez le modèle pour générer une vidéo animée sur la base d'un script ou d'un exemple de code fourni par le projet. En général, vous devez spécifier le chemin des données d'entrée, les paramètres du modèle, etc. Exemple de code (en Python par exemple) :

from index_anisora import AniSoraModel

# 加载模型
model = AniSoraModel.from_pretrained("IndexTeam/Index-anisora")

# 准备输入数据
input_image = "path/to/your/image.jpg"
mask = "path/to/your/mask.png"  # 如果需要局部引导

# 生成视频
output_video = model.generate_video(input_image, mask=mask, style="anime")

# 保存输出视频
output_video.save("output_video.mp4")

• Paramètres de réglageLes paramètres de génération peuvent être ajustés en fonction des besoins, par exemple :
  • Style d'animationLes logiciels d'animation : Choisissez parmi une variété de styles d'animation (par exemple, Fanshawe, Kokusai, VTuber, etc.).
  • contrôle de l'espace-temps: Spécifie la première, la dernière ou l'image-clé.
  • Fréquence et durée des images: Permet de régler la fréquence d'images et la durée de la vidéo générée.
• Voir les résultats générésLa vidéo générée répond aux attentes et les paramètres sont ajustés afin d'optimiser le résultat.

Les points forts d'Index-AniSora

• Génération de haute qualitéLes vidéos animées : générer des vidéos animées cohérentes et de haute qualité en se basant sur l'apprentissage d'ensembles de données à grande échelle et de haute qualité, combiné à des techniques avancées telles que la modélisation de la diffusion.
• Fonctions polyvalentesLa technologie de l'image : prend en charge la génération d'image à vidéo, l'interpolation d'images, le guidage local de l'image, le contrôle temporel et d'autres fonctions pour répondre à une grande variété de besoins créatifs.
• StyliséGénérer une variété de styles d'animation, y compris des fanfictions, des animations créées au niveau national, des adaptations de mangas, du contenu VTuber, etc.
• technologiquement avancéLa technologie de l'énergie solaire : basée sur le module de masque spatio-temporel, l'auto-encodeur variationnel causal 3D, le transformateur et d'autres technologies pour améliorer l'effet et l'efficacité de la génération.
• open source et facile à utiliserLe logiciel de gestion de l'information (SGI) : Il fournit un code source ouvert et des modèles pré-entraînés avec une documentation détaillée et des exemples pour permettre aux développeurs et aux créateurs de commencer à travailler rapidement.
• large applicationLes applications : Appliquer à la production d'animation, à la création de contenu VTuber, à la validation créative, à l'éducation et à la formation, au marketing et au divertissement, et à d'autres scénarios afin d'améliorer l'efficacité et l'efficience de la création.

À qui s'adresse Index-AniSora ?

• Créateurs d'animationLe logiciel d'animation : Il permet aux studios professionnels et aux créateurs indépendants de générer rapidement des clips d'animation et d'améliorer l'efficacité de la création.
• Hôte virtuel (VTuber)Les vidéos dynamiques de danses, de performances, etc. permettent d'enrichir le contenu et d'améliorer l'interaction avec les fans.
• travailleur créatifLes outils d'aide à la décision : par exemple pour les équipes de publicité et de marketing afin de valider rapidement des idées et de générer des publicités animées et des vidéos promotionnelles.
• éducateurLes outils d'animation : Comme outil pédagogique pour aider les étudiants et les novices à maîtriser rapidement les techniques d'animation.
• Praticiens de l'industrie du divertissementLes équipes de production cinématographique et télévisuelle et les équipes de développement de jeux pour les effets spéciaux ou la génération de clips d'animation.