视频动作迁移工作流DF_MotionTransfer

工作流介绍

df_motiontransfer工作流基于阿里万相Wan Animate v2模型，可以将视频中的动作迁移到指定的图片角色身上，更好的控制角色的表演，并且能够生成自然的口型。

环境配置

Comfyui插件

如果使用了整合包，则不需要单独安装插件

• WanVideoWrapper:ComfyUI-WanVideoWrapper阿里Wan视频生成插件-数字折叠
• was-node-suite-comfyui：was-node-suite-comfyui图像数据处理插件-数字折叠
• KJNodes:ComfyUI-KJNodes 一个可以让工作流中各节点无线连接的ComfyUI节点集-数字折叠
• ComfyUI-WanAnimatePreprocess：视频角色面部与POS提取插件ComfyUI-WanAnimatePreprocess-数字折叠
• videohelpersuite:ComfyUI-VideoHelperSuite视频助手插件-数字折叠
• impact-Pack:ComfyUI-Impact-Pack图像检测增强插件(函检测模型)-数字折叠
• easyuse:ComfyUI-Easy-Use自定义节点集成包插件-数字折叠
• LayerStyle：ComfyUI_LayerStyle图像图层操作节点-数字折叠

模型下载

下载前先检查下存放路径，避免重复下载

• Wan-Animate（v2）14B KJ版模型-数字折叠（全部下载，包括VAE ClipVision,LoRA,检测模型）

---

参数说明

• 生成视频：点击将会执行视频动作迁移。
• 启动AI:点击即可启动ComfyUI(需要 提前设置好Comfyui的路径)。
• 查看结果：执行完毕之后可以点击该按钮将生成的视频复制到你设置的保存路径里面，并且自动打开该文件夹。
• 提示词：视频生成的提示词，支持中文，根据角色性别去写，可以简单描述，例如:一个男人在讲话。
• 种子：控制视频生时的随机种子.

环境配置

• WanAnimate模型：选择Wan2_2-Animate-14B_fp8_scaled_e4m3fn_KJ_v2.safetensors（30系列选择e5m2版本）
• vae模型：选择Wan2_1_VAE_bf16.safetensors
• clip视觉模型：clip_vision_h.safetensors
• text_encoders模型：选择umt5-xxl-enc-bf16.safetensors
• 服务器地址：默认填写127.0.0.1:8188
• Comfy路径：你的ComfyUI安装路径，启动脚本所在的文件夹。

LoRA配置

• LoRA0:选择WanAnimate_relight_lora_fp16.safetensors
• LoRA1:选择Wan2.2-Lightning_I2V-A14B-4steps-lora_LOW_fp16.safetensors
• LoRA2:选择FastWan_T2V_14B_480p_lora_rank_128_bf16.safetensors
• LoRA3:选择Wan21_PusaV1_LoRA_14B_rank512_bf16.safetensors
• LoRA4:选择Wan2.2-Fun-A14B-InP-LOW-HPS2.1_resized_dynamic_avg_rank_15_bf16.safetensors

视频控制

• 原始视频：选择要替换迁移动作的原始视频，建议帧速率为25fps
• 帧率：输入和输出的视频帧率，建议25
• 时长：生成视频的时长，建议比原始视频多一秒
• 宽度高度：视频生成的分辨率，默认832*480，如果是竖屏视频则翻转过来
• 采样步数：工作流使用了4步加速，默认可以给4
• 变化模块数量：如果显存不够，则控制该选项将一部分计算加载到内存中，最大为40

导出设置

• 文件夹/前缀：设置输出视频时在Comfyui中的OUT文件夹内的存储文件夹和视频名。
• 保存路径：该路径是点击查看结果时将生成的视频复制的路径。
• 清理原始视频：点击该按钮将会删除OUT文件夹内容的生成视频的文件夹内的所有内容。
• 调试：点击后会把当前的设置保存为一个json文件，方便直接拖入ComfyUI中生成，保存路径和视频保存路径一致。

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.在houdini项目中新建一个copnet节点，进入该节点搜索创建df_motiontransfer节点就可以开启该工作流

3.需要通过file或者其他节点加载一张带有需要接收动作的角色图片，将这个图片连接给该工作流，就会生成这个角色根据视频动作生成的表演视频

版权说明