视频角色替换工作流DF_VideoCharReplace

工作流介绍

df_videocharreplace工作流输入一个带有角色的视频以及另一个角色的图片，就可以把视频中的角色变成图片中带角色，保持原始的动作背景和口型不变，该工作流基于阿里万相的Wan2_2-Animate-14B模型

Comfyui插件

如果使用了整合包，则不需要单独安装插件

• WanVideoWrapper:ComfyUI-WanVideoWrapper阿里Wan视频生成插件-数字折叠
• was-node-suite-comfyui：was-node-suite-comfyui图像数据处理插件-数字折叠
• KJNodes:ComfyUI-KJNodes 一个可以让工作流中各节点无线连接的ComfyUI节点集-数字折叠
• ComfyUI-WanAnimatePreprocess：视频角色面部与POS提取插件ComfyUI-WanAnimatePreprocess-数字折叠
• videohelpersuite:ComfyUI-VideoHelperSuite视频助手插件-数字折叠
• ComfyUI-segment-anything-2：图像遮罩智能分割插件 ComfyUI-segment-anything-2-数字折叠

模型下载

下载前先检查下存放路径，避免重复下载

• Wan-Animate（v2）14B KJ版模型-数字折叠（全部下载，包括VAE ClipVision,LoRA,检测模型）
• LightX2V视频生成加速LoRA rank128 rank64版本下载-数字折叠（建议下载rank64版本）

参数说明

• 生成视频：点击将会执行控制图像生成讲话的视频功能。
• 启动AI:点击即可启动ComfyUI(需要 提前设置好Comfyui的路径)。
• 查看结果：执行完毕之后可以点击该按钮将生成的视频复制到你设置的保存路径里面，并且自动打开该文件夹。
• 提示词：视频生成的提示词，支持中文，根据角色性别去写，可以简单描述，例如:男人和女人在交谈。
• 种子：控制视频生时的随机种子
• 量化类型：选择视频模型的量化格式，如果是30系列显卡需要选择E5M2（兼容性好），如果是40系列或者更高需要选择E4M3FN（高精度，需要高端显卡）.

环境配置

• WanAnimate模型：选择Wan2_2-Animate-14B_fp8_scaled_e4m3fn_KJ_v2.safetensors（30系列选择e5m2版本）
• LoRA0：选择WanAnimate_relight_lora_fp16.safetensors
• LoRA1: 选择lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors
• vae模型：选择Wan2_1_VAE_bf16.safetensors
• clip视觉模型：clip_vision_h.safetensors
• text_encoders模型：选择umt5-xxl-enc-bf16.safetensors
• 服务器地址：默认填写127.0.0.1:8188
• Comfy路径：你的ComfyUI安装路径，启动脚本所在的文件夹。

视频控制

• 原始视频：选择要替换角色的原始视频，建议帧速率为25fps
• 帧率：输入和输出的视频帧率
• 时长：生成视频的时长
• 宽度高度：视频生成的分辨率，默认832*480，如果是竖屏视频则翻转过来
• 采样步数：工作流使用了4步加速，默认可以给4
• 变化模块数量：如果显存不够，则控制该选项将一部分计算加载到内存中，最大为40

导出设置

• 文件夹/前缀：设置输出视频时在Comfyui中的OUT文件夹内的存储文件夹和视频名。
• 保存路径：该路径是点击查看结果时将生成的视频复制的路径。
• 清理原始视频：点击该按钮将会删除OUT文件夹内容的生成视频的文件夹内的所有内容。
• 调试：点击后会把当前的设置保存为一个json文件，方便直接拖入ComfyUI中生成，保存路径和视频保存路径一致。

使用方法

1.将hda下载下来，通过Houdini菜单上的Assets-Install Asset Library进行安装，或者直接放到C:\Users\yourname\Documents\houdini20.5\otls文件夹内Houdini会自动识别。

2.在houdini项目中新建一个copnet节点，进入该节点搜索创建df_videocharreplace节点就可以开启该工作流

3.需要通过file或者其他节点加载一张带有需要替换的新的角色的图片，将这个图片连接给该工作流。

版权说明