视频生成运镜控制工作流DF_CameraControl

工作流介绍

DF_CameraControl工作流基于Wan2.1 I2v模型与Wan2.1 Uni3C相机控制模型，可以通过输入的三维运镜视频序列控制生成的AI视频得到相同的运镜效果。

环境配置

Comfyui插件

如果使用了整合包，则不需要单独安装插件。

• WanVideoWrapper:ComfyUI-WanVideoWrapper阿里Wan视频生成插件-数字折叠
• was-node-suite-comfyui：was-node-suite-comfyui图像数据处理插件-数字折叠
• KJNodes:ComfyUI-KJNodes 一个可以让工作流中各节点无线连接的ComfyUI节点集-数字折叠
• videohelpersuite:ComfyUI-VideoHelperSuite视频助手插件-数字折叠
• impact-Pack:ComfyUI-Impact-Pack图像检测增强插件(函检测模型)-数字折叠

模型下载

下载前先检查下存放路径，避免重复下载

• 运镜控制模型Uni3C-数字折叠（全部下载）
• 阿里通义Wan视频大模型下载（kijai版）-数字折叠（图生视频模型下载480p的，30系列需要单独下载e5m2模型，其他模型全部下载）

参数说明

• 生成视频：点击将会执行运镜控制视频生成。
• 启动AI:点击即可启动ComfyUI(需要 提前设置好Comfyui的路径)。
• 查看结果：执行完毕之后可以点击该按钮将生成的视频复制到你设置的保存路径里面，并且自动打开该文件夹。
• 提示词：视频生成的提示词，支持中文，根据图像的内容去写，只写角色动作，不用写运镜。
• 种子：控制视频生时的随机种子

环境配置

• Wan模型：选择Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors
• Ligtx2v模型：选择Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors
• 运镜模型: 选择Wan21_Uni3C_controlnet_fp16.safetensors
• vae模型：选择Wan2_1_VAE_bf16.safetensors
• clip视觉模型：clip_vision_h.safetensors
• text_encoders模型：选择umt5-xxl-enc-bf16.safetensors
• Comfy路径：你的ComfyUI安装路径，启动脚本所在的文件夹。
• 服务器地址：默认填写127.0.0.1:8188

视频控制

• 相机序列：选择要控制的运镜的序列，可以使用三维软件输出，需要保持首帧的构图与输入的图生视频图像一致，序列帧数量需要是num*16+1
• 宽度高度：视频生成的分辨率，默认832*480，如果是竖屏视频则翻转过来
• 采样步数：建议在8-16
• 变化模块数量：如果显存不够，则控制该选项将一部分计算加载到内存中，最大为40

导出设置

• 文件夹/前缀：设置输出视频时在Comfyui中的OUT文件夹内的存储文件夹和视频名。
• 保存路径：该路径是点击查看结果时将生成的视频复制的路径。
• 清理原始视频：点击该按钮将会删除OUT文件夹内容的生成视频的文件夹内的所有内容。
• 调试：点击后会把当前的设置保存为一个json文件，方便直接拖入ComfyUI中生成，保存路径和视频保存路径一致。

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.在houdini项目中新建一个copnet节点，进入该节点搜索创建DF_CameraControl节点就可以开启该工作流

3.需要通过file或者其他节点加载一张首帧图片，将这个图片连接给该工作流。

版权说明