图像控制（深度、Pose、canny）工作流—DF_Contro

工作流介绍

该工作流基于ControlNet-Union-Pro-2.0控制模型与Nunchaku加速技术，可以快速的通过深度图、openpose以及线框图控制Flux模型生成图像，同时支持多个LoRA与高清放大。并且集成了多个图像合并与拆分工具。

环境配置

插件(使用整合包则不需要安装)

• Nunchaku3.0：ComfyUI超级加速插件Nunchaku0.30版本-数字折叠
• Was-node-suite-comfyui：was-node-suite-comfyui图像数据处理插件-数字折叠
• KJNodes:ComfyUI-KJNodes 一个可以让工作流中各节点无线连接的ComfyUI节点集-数字折叠
• ComfyUI-RAVE:ComfyUI-RAVE图片拆分插件-数字折叠
• Impact-PackComfyUI-Impact-Pack图像检测增强插件(函检测模型)-数字折叠 
• Easyues:ComfyUI-Easy-Use自定义节点集成包插件-数字折叠
• UltimateSDUpscale:ComfyUI_UltimateSDUpscale图像放大插件-数字折叠

模型

• Flux模型：适配Nunchaku0.3.0版本Flux模型：dev|t5|schnell|depth-数字折叠（根据下方参数提示的文件名下载）
• VAE Clip模型：svdq-int4-flux.1-dev适配Nunchaku加速模型-数字折叠（根据下方参数提示的文件名下载）
• Controlnet模型：多合一控制模型FLUX.1-dev-ControlNet-Union-Pro-2.0-数字折叠
• 放大模型：分辨率放大模型4x-UltraMix_Balanced-数字折叠 4x-ClearRealityV1-4x-UltraSharp细节增强模型-数字折叠
• LoRA模型：只要是支持Flux的LoRA就可以，例如blue future风格化赛博朋克FLux LoRA-数字折叠

Houdini

• 在Houdini Python中安装WebSocket模块-数字折叠

---

参数说明

• 执行：点击后就会执行出图操作，需要打开Composite View面板查看j结果。
• 标记：如果当前图像你想后续使用，点击该按钮便会将当前图像另存到在你设置的保存路径内的mark文件夹内，并且生成一个保存种子和提示词的文本文件。
• 启动AI:点击后会启动ComfyUI程序，需要先配置好ComfyUI的路径和服务地址
• 种子：不同种子会得到不同的图像
• 提示词：写出图的提示词，如果有LoRA需要加上LoRA的触发词，细节建议用Chatgpt或者我们的提示词插件丰富。

模型配置

• ComfyUI：输入你的Comfyui的安装路径
• FLux模型：选择svdq-int4_r32-flux.1-schnell.safetensors 或者 svdq-int4_r32-flux.1-dev.safetensors
• Control模型：选择ControlNet-Union-Pro-2.0.safetensors
• LoRA1:选择支持Flux的lora，在\models\loras里选择，就算不启用LoRA也需要填写一个LoRA路径占位
• LoRA2:选择支持Flux的lora，在\models\loras里选择，就算不启用LoRA也需要填写一个LoRA路径占位
• Clip1路径：选择clip_l.safetensors
• Clip2路径：选择t5xxl_fp8_e4m3fn.safetensors
• VAE路径：选择ae.safetensors
• 服务器地址：默认填写127.0.0.1:8188

图像控制

• LoRA1强度：控制LoRA1的作用大小，为0则关闭该LoRA
• LoRA2强度：控制LoRA2的作用大小，为0则关闭该LoRA
• 控制强度：图像控制的强度大小，值越小控制力越弱
• 控制时间：在生图时，控制图产生作用的时间，时间范围为0-1，如果是0则一开始就产生作用，结束时间如果是1则完全控制，如果小于1，则大于该值小于1的部分由模型自由发挥。
• 采样步数：图像生成时的采样步数
• 加速容忍度：通过增加 cache_threshold 值，允许系统使用更多的缓存数据而减少计算量，从而加速处理过程。但是降低一些质量，如果开启，建议值在0.12左右。为0则不开启。
• 保存路径：图像生成自动保存的路径
• 图像前缀：图像保存时的前缀
• 清理原始图像：点击会把生成的图像（带有当前设置前缀的）全部删除，标记的不受影响。

高清放大

• 启用放大：如果勾选，图像在生成之后将会进行一次细节放大修复，建议先生成一次满意的图像，再勾选启用放大执行放大。
• 放大系数：在原始的分辨率上再进行多少倍的放大
• 放大模型 ：选择/models/upscale_models文件夹里的放大模型
• 放大种子：不同的种子得到不同的细节修复效果
• 分块宽度：修复分块的x值。
• 分块高度：修复分块的y值。

图像拼拆

图像拆分

• 原始图片：选择要进行分割的图片地址
• 分割数值：x轴的分割数量，如果是2则会拆分为4张图像，如果是3则会拆分为9张图像，以此类推
• 保持路径：拆分后的图像保存路径
• 图像前缀：拆分后的图像前缀
• 拆分：点击则执行拆分，需要打开保存路径观察结果

图像合并

• 左上、右上、左下、右下：指定在最终图像位置的原始图片链接，需要保持图像尺寸一致。
• 保存路径：合并后图像的保存路径
• 图像前缀：合并后图像的前缀
• 合并：点击则执行合并，需要打开保存路径观察结果

调试

• 获取参数名：将hda中所有参数名导出，辅助工具开发
• 导出工作流：将配置和的设置导出为一个json工作流，可以直接拖入到ComfyUI使用。

---

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.新建一个copnet,并且创建该节点，配置好模型参数以及ComfyUI路径，通过FIle节点加载一张控制图像（通常是深度图），连给该HDA的接受端口，就可以执行了。

版权说明