综合介绍
TripoSR是由Tripo AI和Stability AI联合开发的开源模型,旨在从单个图像快速生成高质量的3D模型。该模型基于大型重建模型(LRM)架构,能够在不到0.5秒的时间内生成3D网格。TripoSR在多个公开数据集上的表现优于其他开源替代方案,具有速度快、质量高的特点,适用于娱乐、游戏、工业设计和建筑等多个领域。
除本地部署外,可以访问TRIPO官网,可以无限生成草稿和每月10次高质量文本转3D和图像转3D额度。
功能列表
- 快速3D重建:从单个图像生成高质量3D模型,速度快至0.5秒。
- 高质量输出:生成的3D模型具有高分辨率和细节。
- 开源代码:提供完整的源代码和预训练模型,方便研究者和开发者使用。
- 多平台支持:支持GPU和CPU运行,适用于不同的硬件环境。
- 在线演示:提供在线演示功能,用户可以直接体验模型的强大功能。
使用帮助
安装流程
- 环境准备:
- 确保已安装Python 3.8或更高版本。
- 安装CUDA(如果可用)。
- 安装PyTorch,确保本地安装的CUDA版本与PyTorch版本匹配。
- 克隆代码库:
git clone https://github.com/VAST-AI-Research/TripoSR.git cd TripoSR
- 安装依赖:
pip install -r requirements.txt
使用流程
- 运行示例:
python run.py examples/chair.png --output-dir output/
这将保存重建的3D模型到
output/
目录。 - 本地Gradio应用:
python gradio_app.py
启动本地Gradio应用,用户可以通过Web界面上传图像并生成3D模型。
详细操作步骤
- 图像预处理:
- 将输入图像处理为NumPy数组。
- 使用图像编码器提取特征。
- 3D重建:
- 将提取的特征输入到图像到三平面解码器。
- 使用三平面神经辐射场预测颜色和密度。
- 输出生成:
- 生成的3D网格可以保存为多种格式,方便后续使用和编辑。
常见问题
- CUDA错误:如果遇到CUDA相关错误,请确保本地安装的CUDA版本与PyTorch版本匹配。
- 依赖安装失败:请确保已安装最新版本的
setuptools
,并使用pip install --upgrade setuptools
进行升级。