PSHuman: Genera modelos realistas de retratos en 3D, utiliza una foto para generar modelos humanos en 3D.

Introducción general

PSHuman es una herramienta de reconstrucción de retratos 3D de una sola imagen basada en la tecnología de difusión multivista. La herramienta es capaz de generar estructuras geométricas detalladas y modelos realistas de retratos en 3D a partir de una sola foto de una persona vestida.La tecnología central de PSHuman incluye la difusión multivista a escala cruzada, que es capaz de generar retratos en 3D de alta calidad en poco tiempo. Desarrollado por el equipo pengHTYX, el proyecto pretende ofrecer a los usuarios una solución de modelado de retratos en 3D eficaz y fácil de usar.

Lista de funciones

• Reconstrucción de retratos 3D de una sola imagen: Genere modelos 3D detallados a partir de fotos de retratos individuales.
• Difusión multivista: Genere retratos 3D de alta calidad mediante difusión multivista a escala cruzada.
• Versión sin SMPL: generación multivista sin condición SMPL, adecuada para retratos de pose general.
• Eliminación del fondo: Soporte para eliminar el fondo utilizando Clipdrop o la herramienta rembg.
• Salida estructurada: los modelos 3D generados y los vídeos renderizados se guardan como archivos estructurados para facilitar su visualización y uso compartido.

Utilizar la ayuda

Proceso de instalación

1. Cree un entorno virtual e instale las dependencias:

   $ conda create -n pshuman python=3.10
   $ conda activate pshuman
   $ pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121
   $ pip install kaolin==0.17.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.1.0_cu121.html
   $ pip install -r requirements.txt
   

2. Configure el modelo asociado:
   • Descargue los modelos relacionados con ECON y SIFU y reorganícelos en proyectos.

Proceso de utilización

1. Eliminación de antecedentesEliminar el fondo de una foto de retrato utilizando la herramienta Clipdrop o rembg. Para la herramienta rembg, puede ejecutar el siguiente script:

   $ python utils/remove_bg.py --path $DATA_PATH$
   

   Coloque la imagen RGBA generada en el Catálogo.

2. razonamiento en funcionamiento: Genera la malla de textura y renderiza el vídeo ejecutando el script inference.py:

   $ CUDA_VISIBLE_DEVICES=$GPU python inference.py --config configs/inference-768-6view.yaml \
   pretrained_model_name_or_path='pengHTYX/PSHuman_Unclip_768_6views' \
   validation_dataset.crop_size=740 \
   with_smpl=false \
   validation_dataset.root_dir=$DATA_PATH$ \
   seed=600 \
   num_views=7 \
   save_mode='rgb'
   

3. Parámetros de ajusteAjuste crop_size (720 o 740) y seed (42 o 600) según sea necesario para obtener mejores resultados.

Funciones principales

• Reconstrucción de retratos en 3D con una sola imagenEl usuario proporciona una foto de retrato y el sistema genera automáticamente un modelo 3D detallado.
• Técnica de difusión multivistaGeneración de retratos 3D de alta calidad mediante técnicas de difusión multivista a escala cruzada.
• Eliminación de antecedentes: Soporte para eliminar fondos utilizando las herramientas Clipdrop o rembg para simplificar el procesamiento posterior.
• Salida estructuradaLos modelos 3D generados y los vídeos renderizados se guardan como archivos estructurados para facilitar su visualización y uso compartido.

Procedimiento de funcionamiento detallado

1. Proporcionar fotos de retratoEl usuario proporciona una foto de retrato y la procesa con una herramienta de eliminación de fondos.
2. Ejecución de scripts de inferencia: Genera modelos 3D y renderiza vídeos ejecutando el script inference.py.
3. Parámetros de ajusteAjuste los parámetros del script de inferencia según sea necesario para obtener los mejores resultados.
4. Ver y compartirLos modelos 3D generados y los vídeos renderizados se guardan como archivos estructurados que los usuarios pueden ver y compartir directamente.