RAIN : Capture en temps réel d'expressions humaines réelles pour générer des flux vidéo d'images animées

Introduction générale

RAIN (Real-time Animation Of Infinite Video Stream) est un projet open source conçu pour permettre la génération en temps réel d'effets d'animation pour des flux vidéo infinis. Développé par Pscgylotti, le projet fournit une solution pour la génération de vidéos sur les appareils d'utilisateurs courants. En utilisant les dernières techniques d'apprentissage profond, RAIN est capable de générer un flux vidéo continu basé sur des images téléchargées par l'utilisateur, applicable à la production d'animation, aux effets vidéo et à d'autres domaines.

RAIN produit des animations en temps réel sur des appareils grand public.

Liste des fonctions

• Générer des vidéos animées en temps réel
• Prise en charge de la génération de vidéos sur les appareils des utilisateurs
• Fournit une variété de modèles et de poids pré-entraînés
• Prise en charge de l'accélération TensorRT
• Fournir l'interface de l'application Gradio
• Prise en charge de multiples ajustements des paramètres de génération vidéo

Utiliser l'aide

Processus d'installation

1. Assurez-vous que Python >= 3.10 est installé.
2. Installez PyTorch (version recommandée >= 2.3.0), qui peut être téléchargé depuis le site officiel de PyTorch.
3. Clonez le référentiel du projet RAIN :

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. Installer les dépendances nécessaires au raisonnement :

   pip install -r requirements_inference.txt

Processus d'utilisation

1. Télécharger les modèles et les poids pré-entraînés :
   • Téléchargez les poids RAIN originaux à partir de Google Drive ou Huggingface Hub et mettez-les dans l'espace de travail.weights/torch/Catalogue.
   • Téléchargez les autres fichiers de modèle requis et placez-les dans les répertoires appropriés (par ex.weights/onnx/).
2. Lancez l'application Gradio :

   python gradio_app.py

Ouvrez votre navigateur et visitezhttp://localhost:7860/Téléchargez le portrait du haut du corps de n'importe quel personnage d'anime, ajustez les paramètres et lancez le morphing du visage.

3. Ajuster les paramètres de génération vidéo :
   • Dans l'interface de Gradio, différents paramètres peuvent être ajustés selon les besoins pour obtenir le meilleur effet d'animation.
   • Une attention particulière est accordée à l'ajustement des paramètres liés à l'œil afin de garantir une composition faciale optimale.

Fonctions détaillées

• Générer des flux vidéo en temps réelRAIN est capable de générer des flux vidéo continus en temps réel sur la base d'images téléchargées par l'utilisateur, ce qui convient à la production d'animations et d'effets vidéo.
• Prise en charge des images téléchargées par l'utilisateurLes utilisateurs peuvent télécharger n'importe quelle image et RAIN génère un flux vidéo correspondant basé sur l'image.
• Fournir une variété de paramètres d'ajustement de la génération vidéoL'utilisateur peut ajuster les paramètres de génération pour obtenir le meilleur effet d'animation.
• Prise en charge de l'accélération TensorRTEn activant l'accélération TensorRT, RAIN peut terminer la compilation du modèle dans un délai plus court, ce qui augmente la vitesse d'inférence.
• Modèles pré-entraînés disponibles au téléchargementLes utilisateurs peuvent télécharger des modèles pré-entraînés à partir de plusieurs plates-formes pour faciliter un démarrage rapide.
• Compatible avec de nombreux frameworks d'apprentissage profondRAIN prend en charge une variété de cadres d'apprentissage profond tels que PyTorch, ce qui facilite le développement secondaire.

exigences en matière de matériel

• L'exécution d'une démo d'inférence complète nécessite généralement environ 12 GiB de RAM.
• Le modèle de synthèse nécessite environ 8 GiB de RAM lorsqu'il est exécuté seul.

Projets de référence

Le projet RAIN est basé sur plusieurs projets open source , tels que AnimateAnyone, Moore-AnimateAnyone, Open-AnimateAnyone , etc., combinant les avantages de ces projets pour réaliser une génération efficace d'animation en temps réel .