综合介绍
MagicQuill是一个由香港科技大学、蚂蚁集团、浙江大学和香港大学共同推出的开源AI互动式图像编辑工具。该工具旨在通过智能化和互动式的方式,实现对图像的精准局部编辑。MagicQuill提供了用户友好的界面和AI驱动的建议,使用户能够轻松地进行图像编辑操作。该项目受CC BY-NC 4.0许可证的约束,允许用户在非商业用途下使用和修改代码。
功能列表
- 添加笔刷:通过提示添加细节和元素,用户可以用自己的笔触表达创意。
- 减去笔刷:移除多余细节或根据提示重新绘制区域。
- 颜色笔刷:精确上色,匹配笔刷颜色。
- 智能画布工具:上传照片、橡皮擦工具、拖动、旋转和调整大小功能。
- 参数设置:调整生成结果的高级设置,如基础模型名称、负面提示、细边控制等。
使用帮助
安装流程
- 克隆仓库:
git clone --recursive https://github.com/magic-quill/MagicQuill.git
cd MagicQuill
- 下载并解压检查点:
wget -O models.zip "https://hkustconnect-my.sharepoint.com/:u:/g/personal/zliucz_connect_ust_hk/EWlGF0WfawJIrJ1Hn85_-3gB0MtwImAnYeWXuleVQcukMg?e=Gcjugg&download=1"
unzip models.zip
- 创建环境并安装依赖:
conda create -n MagicQuill python=3.10 -y
conda activate MagicQuill
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
pip install gradio_magicquill-0.0.1-py3-none-any.whl
pip install -r requirements.txt
- 运行MagicQuill:
python gradio_run.py
使用流程
- 添加笔刷:选择添加笔刷,按照提示添加细节和元素。例如,用几笔画出一只小鹿,或为人物添加项链。
- 减去笔刷:选择减去笔刷,移除不需要的细节。例如,去掉多余的尾鳍或帽子。
- 颜色笔刷:选择颜色笔刷,精确上色。例如,将花朵涂成蓝色。
- 智能画布工具:使用上传按钮上传照片,使用橡皮擦工具擦除错误,拖动、旋转和调整大小功能调整图像。
- 参数设置:在运行按钮旁边选择参数,调整生成结果的高级设置,如基础模型名称和负面提示。
MagicQuill Windows一键部署
下载项目后运行:windows_setup.bat