Diffusion Templates

Diffusion Templates 是 DiffSynth-Studio 中的 Diffusion 模型可控生成插件框架，可以为基础模型提供额外的可控生成能力。

• 开源代码：DiffSynth-Studio
• 技术报告：arXiv
• 项目主页：GitHub
• 文档参考
  • Diffusion Templates 简介：English Version、中文版
  • Diffusion Templates 架构详解：English Version、中文版
  • Template 模型推理：English Version、中文版
  • Template 模型训练：English Version、中文版
• 在线体验：魔搭社区创空间
• 模型集：ModelScope、ModelScope 国际站、HuggingFace

模型名称	ModelScope	ModelScope 国际站	HuggingFace	推理代码	低显存推理代码	训练代码	训练效果验证代码
结构控制	link	link	link	code	code	code	code
亮度调节	link	link	link	code	code	code	code
色彩调节	link	link	link	code	code	code	code
图像编辑	link	link	link	code	code	code	code
超分辨率	link	link	link	code	code	code	code
锐利激发	link	link	link	code	code	code	code
美学对齐	link	link	link	code	code	code	code
局部重绘	link	link	link	code	code	code	code
内容参考	link	link	link	code	code	code	code
年龄控制	link	link	link	code	code	code	code
魔性熊猫（彩蛋模型）	link	link	link	code	code	code	code

• 数据集：ModelScope、ModelScope 国际站、HuggingFace

数据集名称	ModelScope	ModelScope 国际站	HuggingFace
文生图	link	link	link
局部重绘	link	link	link
背景替换	link	link	link
服装替换	link	link	link
姿态调整	link	link	link
前景修改	link	link	link
局部增删	link	link	link
超分辨率	link	link	link
人物特写	link	link	link
随机缩放	link	link	link
光照调整	link	link	link
画面结构	link	link	link
表情编辑	link	link	link
视角调整	link	link	link
风格迁移	link	link	link
多分辨率	link	link	link
多图合并	link	link	link

模型效果一览

• 超分辨率 + 锐利激发：生成清晰度极高的图像

低清晰度输入	高清晰度输出

• 结构控制 + 美学对齐 + 锐利激发：全副武装的 ControlNet

结构控制图	输出图

• 结构控制 + 图像编辑 + 色彩调节：随心所欲的艺术风格创作

结构控制图	编辑输入图	输出图

• 亮度控制 + 图像编辑 + 局部重绘：让图中的部分元素跨越次元

参考图	重绘区域	输出图