HelloMeme : Générer localement une expression de haute fidélité, une action cohérente d'une image ou d'une vidéo, Runway Act one open source ping pong !

Introduction générale

HelloMeme est un projet open source développé par HelloVision pour générer des images et des vidéos de haute qualité en intégrant les Spatial Knitting Attentions pour incorporer des conditions de haut niveau et de haute fidélité dans les modèles de diffusion. Le code du projet et la mise en œuvre du modèle sont hébergés sur GitHub et peuvent être librement téléchargés et utilisés par les utilisateurs. Le code du projet et la mise en œuvre du modèle sont hébergés sur GitHub et peuvent être librement téléchargés et utilisés par les utilisateurs. HelloMeme fournit une variété de modules fonctionnels, y compris la génération d'images, la génération de vidéos et l'intégration avec Gradio et ComfyUI L'intégration est conviviale pour une variété d'expériences et d'applications.

En rapport :

LivePortrait : Outil d'animation pour générer des portraits dynamiques à partir d'images fixes et de vidéos(source ouverte)

ConsisID : une carte de référence de portrait pour générer des vidéos cohérentes avec les caractères, une intégration multi-terminale rapide(source ouverte)

Reface : remplacement de visage et génération de vidéos utilisant l'IA pour créer des images animées amusantes (payant)

Liste des fonctions

• Génération d'imagesLes images de référence : Générer des images de haute qualité à partir d'images de référence et d'images de pilotes.
• Génération vidéoLes vidéos : Générer des vidéos haute-fidélité basées sur des vidéos de référence et des vidéos d'automobilistes.
• Intégration de GradioLe système Gradio : Il fournit une interface Gradio pour l'interaction avec l'utilisateur.
• Intégration de ComfyUIL'interface ComfyUI permet de simplifier le processus d'utilisation.
• module expérimentalLe site comprend une variété de codes expérimentaux qui permettent à l'utilisateur de mener différentes expériences et tests.
• algorithme efficaceOptimiser les algorithmes pour réduire l'utilisation de la VRAM et améliorer l'efficacité de la génération.

Utiliser l'aide

Processus d'installation

1. Créer un environnement Conda: :

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. Installation de PyTorch et FFmpegPour plus de détails sur l'installation, veuillez consulter les sites officiels de PyTorch et de FFmpeg.
3. Installation des dépendances: :

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. entrepôt de clones: :

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. code en cours d'exécution: :
   • Génération d'images : bash
python inference_image.py

   • Génération vidéo : bash
python inference_video.py

6. Installation de l'application Gradio: :

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Fonction Opération Déroulement

Génération d'images

1. Préparation de l'image d'entréePréparation de l'image de référence et de l'image du lecteur.
2. Exécuter le script de génération d'image: :

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. Voir les résultats générésL'image générée sera enregistrée dans le répertoire spécifié.

Génération vidéo

1. Préparer l'entrée de la vidéoLes vidéos de référence et les vidéos sur les conducteurs sont préparées.
2. Exécuter le script de génération de vidéo: :

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. Voir les résultats générésLa vidéo générée sera sauvegardée dans le répertoire spécifié.

Utilisation de l'interface Gradio

1. Lancement de l'application Gradio: :

   python app.py

2. Accès par navigateur: Ouvrez votre navigateur et visitez le site http://localhost:7860L'interface Gradio peut être utilisée pour la génération d'images et de vidéos.

Utilisation de l'interface ComfyUI

1. Installer ComfyUIPour l'installation, veuillez vous référer au site officiel de ComfyUI.
2. Exécuter HelloMeme: :

   python comfyui_hellomeme.py

3. Fonctionnement via l'interface ComfyUIPour ce faire, sélectionnez la fonction de génération d'images ou de vidéos, téléchargez les fichiers de référence et de pilote et cliquez sur le bouton "Générer".

mise en garde

• version de la dépendanceLes versions actuellement prises en charge sont les suivantes diffusers==0.31.0.
• Utilisation de la VRAMLors de la génération de vidéo, plus la vidéo est longue, plus il faut de VRAM, donc il faut ajuster en fonction de la situation réelle.
• Modèle à téléchargerLors de la première exécution, tous les modèles seront téléchargés automatiquement, ce qui peut prendre plus de temps.