VACE深度控制视频工作流DF_WanVACE_Control

工作流介绍

该工作流基于Wan2_1-VACE_module_14B_fp8_e4m3fn控制模型，可以根据输入的深度序列和首帧效果图产生最终的AI视频。由于是14B参数的模型，该工作流需要一定的显存支持。

环境配置

Comfyui环境

需要提前安装SageAttention和triton，安装过程请查看下面链接：
Comfyui安装SageAttention和triton-数字折叠

ComfyUI插件

• Inspire-pack： ComfyUI-Inspire-Pack 扩展节点插件-数字折叠
• ComfyUI-VideoHelperSuite: ComfyUI-VideoHelperSuite视频助手插件-数字折叠
• WanVideoWrapper:ComfyUI-WanVideoWrapper阿里Wan视频生成插件-数字折叠

模型下载

• Wan多模态控制模型Wan2_1-VACE_module_14B_fp8_e4m3fn-数字折叠
• 万相文生视频1.4b模型Wan2_1-T2V-14B_fp8_e4m3fn-数字折叠 （VAE相关模型也一并下载）

---

参数说明

• 启动AI:点击即可启动ComfyUI。
• 生成视频：点击将会执行控制图像转绘为视频功能。
• 查看结果：执行完毕之后可以点击该按钮将生成的视频复制到你设置的保存路径里面，并且自动打开该文件夹。
• 提示词：视频生成的提示词，支持中文
• 生成种子：控制视频生成的随机种子

环境配置

• Comfy路径：你的ComfyUI安装路径
• 服务器地址：默认填写127.0.0.1:8188
• VACE模型：选择Wan2_1-VACE_module_14B_fp8_e4m3fn
• Wan模型：选择wan2.1_t2v_14B_fp8_e4m3fn
• vae模型：选择Wan2_1_VAE_bf16
• text_encoders模型：选择umt5-xxl-enc-bf16

视频控制

• 深度序列路径：输入要控制动画的深度图序列路径
• 首帧图像路径：输入和深度图第一帧匹配的最终效果风格图
• 宽度/高度：生成视频的分辨率
• 帧数：控制生成视频的帧数
• 帧率：视频合成的帧率
• 采样步数：生成时的采样器步数
• 变换模块数量：将一些GPU显存交换给CPU，指定将多少个 Transformer 模块从默认设备（如 GPU）交换到其他设备（如 CPU）处理，以优化显存或性能。最大值取决于模型结构，如 14B 模型最多有 40 个模块。

导出设置

• 文件夹/前缀：设置输出视频时在Comfyui中的OUT文件夹内的存储文件夹和视频名。
• 保存路径：该路径是点击查看结果时将生成的视频复制的路径。
• 清理原始视频：点击该按钮将会删除OUT文件夹内容的生成视频的文件夹内的所有内容。

---

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.配置好模型参数和ComfyUI路径就可执行了

版权说明