Flux深度出图Nunchaku加速工作流

工作流介绍

df_fluxn_d2i Houdini HDA工作流的核心功能是将深度信息图片转化为AI图像。具体流程如下：

1. 输入深度信息图片：用户首先输入一张包含场景深度信息的图片。这个图片通常包含场景中物体的深度层次（从前景到背景的距离）。
2. 生成AI图像：工作流会根据深度图的元素和构图，结合Flux模型生成相同风格、元素和布局的AI图像。这使得图像可以更自然地融合到已有的场景中。
3. 直接在Houdini中操作：用户可以在Houdini的界面中直接操作这个流程，无需离开Houdini软件进行处理。图像生成后，结果会即时返回到Houdini窗口中。
4. 结果保存与路径选择：工作流支持用户选择保存结果的存储路径，方便保存和管理生成的AI图像。
5. Nunchaku插件加速：通过集成Nunchaku插件，工作流的处理速度得到加速，能更高效地生成图像。
6. Lora支持：用户可以添加多个Lora（用于风格化和特定角色生成的预训练模型），使得生成的图像更具个性化和风格化。
7. 高清视频放大：支持在图像生成后进行高清放大，以便在制作视频时能够保持高质量的细节和清晰度。

这套工作流不仅简化了从深度图到AI图像的转化过程，还提升了创作效率，使得Houdini用户能够更方便地进行视觉效果创作。

环境配置

插件

• nunchaku：ComfyUI-nunchaku无损Flux加速插件-数字折叠
• Easyues:ComfyUI-Easy-Use自定义节点集成包插件-数字折叠
• impact pack:ComfyUI-Impact-Pack图像检测增强插件-数字折叠
• UltimateSDUpscale:ComfyUI_UltimateSDUpscale图像放大插件-数字折叠

参数说明

• 启动AI:点击后会启动ComfyUI程序，需要先配置好ComfyUI的路径和服务地址
• 执行：点击后就会执行出图操作，执行完会将图片导入到hda里面的Copnetwork节点，需要打开Composite View面板查看
• 种子：不同种子会得到不同的图像
• 提示词：写出图的提示词，如果有LoRA需要加上LoRA的触发词，细节建议用Chatgpt或者我们的提示词插件丰富。

模型

• svdq-int4模型：svdq-fp4-flux.1-depth-dev适配Nunchaku加速深度出图模型-数字折叠
• 放大模型：分辨率放大模型4x-UltraMix_Balanced-数字折叠 4x-ClearRealityV1-4x-UltraSharp细节增强模型-数字折叠
• LoRA模型：只要是支持Flux的LoRA就可以，例如blue future风格化赛博朋克FLux LoRA-数字折叠

Houdini

• 在Houdini Python中安装WebSocket模块-数字折叠

模型配置

• Comfy路径：你的ComfyUI安装路径
• Flux模型路径：选择你的svdq-int4模型，需要在ComfyUI根目录/models/unet里选择
• LoRA1:选择支持Flux的lora，在\models\loras里选择，就算不启用LoRA也需要填写一个LoRA路径占位。
• LoRA2:选择支持Flux的lora，在\models\loras里选择，就算不启用LoRA也需要填写一个LoRA路径占位。
• Clip1路径：选择t5xxl_fp8_e4m3fn.safetensors模型
• Clip2路径：选择clip_l.safetensors模型
• vae路径：选择ae.sft或者ae.safetensors
• 服务器地址：默认填写127.0.0.1:8188

图像控制

• 深度图路径：输入深度图存放的文件夹路径，深度图可以使用我们的工具产生：Houdini深度图渲染输出工具DF_DepthMap-数字折叠
• 采样步数：生图是的采样步数，数量越高效果也精细，时间越久。
• FLux引导：深度图的引导强度，太小则不受深度图空中，建议默认。
• 保存路径：设置一个最终图像的保存文件夹。
• 图像前缀：图像的名称
• 图片数量：固定为1.数量多目前不会起作用。
• 清理原始图像：点击后会删除原始output\dffluxnt2i文件夹内的所有图片，自定义文件夹的不受影响。

LoRA

• 使用LoRA:勾选之后下面的LoRA会起到作用
• LoRA1强度：设置一个强度值控制LoRA1的作用效果。
• LoRA2强度：设置一个强度值控制LoRA2的作用效果。

高清放大

• 启用放大：如果勾选，图像在生成之后将会进行一次细节放大修复，建议先生成一次满意的图像，再勾选启用放大执行放大。
• 放大系数：在原始的分辨率上再进行多少倍的放大
• 放大模型 ：选择/models/upscale_models文件夹里的放大模型
• 放大种子：不同的种子得到不同的细节修复效果
• 分块宽度：修复分块的x值。
• 分块高度：修复分块的y值。

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.配置好模型参数和ComfyUI路径就可跑图了

版权说明