InfiniteTalk单人多人对话口型生成模型

模型介绍

 InfiniteTalk，一种新颖的稀疏帧视频配音框架。给定输入视频和音频轨道，InfiniteTalk 合成一个新的视频，具有准确的唇形同步，同时将头部运动、身体姿势和面部表情与音频对齐。与仅关注嘴唇的传统配音方法不同，InfiniteTalk 支持无限长度的视频生成，并保持准确的唇形同步和一致的身份保留。此外，InfiniteTalk 还可以用作图像-音频到视频的模型，以图像和音频作为输入。

• 💬 ​​稀疏帧视频配音​​ – 不仅同步嘴唇，还同步头部、身体和表情
• ⏱️ ​​无限长度生成​​ – 支持无限视频时长
• ✨ ​​稳定性​​ – 与 MultiTalk 相比减少了手部/身体的扭曲
• 🚀 ​​唇形准确性​​ – 比 MultiTalk 实现了更优的唇形同步

我们提供了下面两个模型，可以直接安装到ComfyUI中配和我们的工作流执行

• Wan2_1-InfiniteTalk-Multi_fp16
• Wan2_1-InfiniTetalk-Single_fp16.safetensors

使用方法

• 两个Infinitetalk模型下载到ComfyUI安装目录的models\diffusion_models文件夹内
• TencentGameMate文件夹下载到ComfyUI安装目录的models\transformers文件夹内（没有该文件夹的话需要先手动创建）