PSHuman：生成逼真3D人像模型，使用一张照片生成3D人建模

综合介绍

PSHuman是一个基于多视图扩散技术的单图像3D人像重建工具。该工具能够从单张穿衣人像照片生成详细的几何结构和逼真的3D人像模型。PSHuman的核心技术包括跨尺度多视图扩散，能够在短时间内生成高质量的3D人像。该项目由pengHTYX团队开发，旨在为用户提供一个高效、易用的3D人像建模解决方案。

功能列表

• 单图像3D人像重建：从单张人像照片生成详细的3D模型。
• 多视图扩散技术：利用跨尺度多视图扩散技术生成高质量的3D人像。
• SMPL-free版本：无需SMPL条件即可进行多视图生成，适用于一般姿态的人像。
• 背景移除：支持使用Clipdrop或rembg工具移除背景。
• 结构化输出：生成的3D模型和渲染视频以结构化文件形式保存，便于查看和分享。

使用帮助

安装流程

1. 创建虚拟环境并安装依赖：

   $ conda create -n pshuman python=3.10
   $ conda activate pshuman
   $ pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121
   $ pip install kaolin==0.17.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.1.0_cu121.html
   $ pip install -r requirements.txt
   

2. 配置相关模型：
   • 下载ECON和SIFU相关模型，并将其重新组织到项目中。

使用流程

1. 背景移除：使用Clipdrop或rembg工具移除人像照片的背景。对于rembg工具，可以运行以下脚本：

   $ python utils/remove_bg.py --path $DATA_PATH$
   

   将生成的RGBA图像放入 目录中。

2. 运行推理：通过运行inference.py脚本生成纹理网格和渲染视频：

   $ CUDA_VISIBLE_DEVICES=$GPU python inference.py --config configs/inference-768-6view.yaml \
   pretrained_model_name_or_path='pengHTYX/PSHuman_Unclip_768_6views' \
   validation_dataset.crop_size=740 \
   with_smpl=false \
   validation_dataset.root_dir=$DATA_PATH$ \
   seed=600 \
   num_views=7 \
   save_mode='rgb'
   

3. 调整参数：根据需要调整crop_size（720或740）和seed（42或600）以获得最佳效果。

主要功能操作

• 单图像3D人像重建：用户提供一张人像照片，系统将自动生成详细的3D模型。
• 多视图扩散技术：利用跨尺度多视图扩散技术，生成高质量的3D人像。
• 背景移除：支持使用Clipdrop或rembg工具移除背景，简化后续处理。
• 结构化输出：生成的3D模型和渲染视频以结构化文件形式保存，便于查看和分享。

详细操作流程

1. 提供人像照片：用户提供一张人像照片，并使用背景移除工具处理。
2. 运行推理脚本：通过运行inference.py脚本，生成3D模型和渲染视频。
3. 调整参数：根据需要调整推理脚本中的参数，以获得最佳效果。
4. 查看和分享：生成的3D模型和渲染视频以结构化文件形式保存，用户可以直接查看和分享。

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样，是每个人的必备技能。 掌握AI会让你在求职中占据优势，在未来的工作和学习中事半功倍。

查看详情>