今天,我们很高兴发布 FLUX.1 Tools,这是一个模型套件,旨在为我们的基础文本生成图像模型 FLUX.1 增加控制和可引导性,支持对真实图像和生成图像的修改与再创作。在发布时,FLUX.1 Tools 包含四个独特的功能,这些功能将作为开放访问的模型在 FLUX.1 [dev] 系列中提供,同时在 FLUX.1 [pro] 的 BFL API 中也可使用:
- FLUX.1 Fill: 最先进的图像修复(inpainting)和扩展(outpainting)模型,能够根据文本描述和二值遮罩编辑和扩展真实或生成的图像。
- FLUX.1 Depth: 通过从输入图像中提取深度图和文本提示,实现结构化引导的模型。
- FLUX.1 Canny: 通过从输入图像中提取 Canny 边缘和文本提示,实现结构化引导的模型。
- FLUX.1 Redux: 一种适配器,支持混合和再创作输入图像和文本提示。
本次发布强化了我们双重承诺:为研究社区提供最前沿的开放权重模型,同时通过 API 提供一流的能力。我们在 BFL API 中发布每种工具的 FLUX.1 [pro] 版本,同时提供推理代码和权重作为指导蒸馏的开放访问 FLUX.1 [dev] 版本。此外,我们很高兴宣布,我们发布的模型将通过以下合作伙伴提供:fal.ai、Replicate、Together.ai、Freepik 和 krea.ai。
以下章节包含有关新模型的详细信息、性能分析以及如何访问它们的说明。我们期待看到充满活力的 Flux 生态系统因这些新工具而得到进一步增强。
使用 FLUX.1 Fill 进行图像修复与扩展
FLUX.1 Fill 引入了先进的 图像修复(inpainting) 能力,超越了现有工具,例如 Ideogram 2.0 和流行的开源工具,如 AlimamaCreative 的 FLUX-Controlnet-Inpainting。它能够无缝地编辑图像,自然地与现有图像融合。
此外,FLUX.1 Fill 支持 图像扩展(outpainting),使用户能够将图像扩展至原始边界之外。
我们进行了一个基准测试,公开可访问 这里。结果显示,Flux.1 Fill [pro] 超越了所有其他竞争方法,成为迄今为止最先进的图像修复模型。其次是 Flux.1 Fill [dev],它在推理效率上优于专有解决方案。
Flux.1 Fill [dev] 根据 Flux 开发许可证提供,包含以下内容:
Flux.1 Fill [pro] 可在 [**BFL API**] 中使用。
使用 FLUX.1 的 Canny / Depth 进行结构条件控制
结构条件控制通过 Canny 边缘检测或深度检测在图像变换过程中保持精确控制。通过边缘或深度图保留原始图像的结构,用户可以进行文本引导的编辑,同时保持核心构图不变。这种方法在图像重新纹理化方面尤为有效。
在我们的评估中(基准测试请见 这里),FLUX.1 Depth 的性能优于 Midjourney ReTexture 等专有模型。特别是 FLUX.1 Depth [pro] 提供了更高的输出多样性,而 FLUX.1 Depth [dev] 在深度感知任务中表现更一致。对于 Canny 边缘模型,基准测试请见 这里,FLUX.1 Canny [pro] 为最佳模型,其次是 FLUX.1 Canny [dev]。
FLUX.1 Canny / Depth 提供两个版本:用于最大性能的完整模型,以及基于 FLUX.1 [dev] 的 LoRA 版本,便于开发。
Flux Depth / Canny [dev] 基于 Flux Dev 许可提供:
- 完整模型权重可通过 Hugging Face 获取:[Depth] [Canny]
- LoRA 权重可通过 Hugging Face 获取:[Depth] [Canny]
- 推理代码可通过 GitHub 获取
Flux.1 Depth / Canny [pro] 可通过 BFL API 获取。
使用 FLUX.1 Redux 实现图像变体和风格化
FLUX.1 Redux 是一种适配器,适用于所有 FLUX.1 基础模型,用于生成图像变体。通过输入图像,FLUX.1 Redux 可以再现具有轻微变化的图像,从而优化给定的图像。
它能够自然地集成到更复杂的工作流中,通过提示词实现图像风格化。通过我们的 API,用户可以提供图像和提示词来完成风格化。该功能在我们最新的 FLUX1.1 [pro] Ultra 模型中支持,能够结合输入图像和文本提示生成高质量的 400 万像素输出,并具有灵活的宽高比。
我们的 基准测试 表明,FLUX.1 Redux 在图像变体生成方面实现了最先进的性能。
Flux.1 Redux [dev] 基于 Flux Dev 许可提供:
支持 FLUX1.1 [pro] Ultra 的 Flux.1 Redux 可通过 BFL API 获取。
我们期待社区使用我们的新工具集开发更多的创意。可通过 [api.bfl.ml] 试用我们的 API。