模型介绍
Wan-Animate 是一个用于角色动画和角色替换的统一模型框架。
它的主要功能有两个:
- 角色动画生成:
给定一张角色图片和一个参考视频,Wan-Animate 可以让角色“动起来”——精准复现视频中人物的表情和动作,生成高保真角色动画视频。 - 角色替换:
它还能把生成的动画角色无缝替换到原视频中,自动匹配场景的光照和色调,让角色自然融入环境。
技术上,Wan-Animate 基于 Wan 模型,并对输入方式进行了改进,用来区分“参考条件”和“生成区域”,从而统一了多种任务的输入结构。
它通过骨骼信号控制身体动作,通过从源图像提取的隐式面部特征驱动表情,使生成的视频既可控又富有表现力。
此外,它还引入了一个名为 Relighting LoRA 的辅助模块,用于在角色替换时保持角色外观一致的同时,自动适应环境光照和色调。
实验证明,Wan-Animate 在角色动画和替换任务上都达到了最新的业界领先水平。我们本次提供的是Kijai量化的版本。
使用方法
主模型
WanAnimateModel里面的Wan2_2-Animate-14B_fp8_scaled_e4m3fn_KJ_v2模型放到Comfyui安装目录的models\diffusion_models文件夹内。
Kijai/WanVideo_comfy_fp8_scaled at main
ClipVAE模型
Clip VAE模型请到下面模型链接区域下载,并按照说明放到相应位置(不用下载图生视频模型)
LoRA模型
WanAnimateLoRAs里面的所有模型下载到models\loras文件夹内
检测模型
detection和sam2两个文件夹直接放到ComfyUI\models文件夹内

© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容