AniTalker，这是一个创新框架，旨在从单个肖像中生成栩栩如生的说话面孔。现有模型主要关注唇形同步等 语言 线索，无法捕捉面部表情和非语言线索的复杂动态，与此不同的是，AniTalker 采用了通用的 运动 表示。这种创新的表现方式有效地捕捉了广泛的面部动态，包括微妙的表情和头部运动。
AniTalker 通过两种自监督 学习 策略增强运动描绘：第一种涉及从同一身份内的源帧重建目标视频帧以学习微妙的运动表示，第二种使用度量学习 开发 身份编码器，同时主动最小化身份之间的互信息和运动编码器。这种方法确保运动表示是动态的并且没有特定于身份的细节，从而显着减少对标记数据的需求。此外，扩散模型与方差适配器的集成允许生成多样化且可控的面部 动画 。
这种方法不仅展示了 AniTalker 创建详细且真实的面部 动作 的能力，而且还强调了其在为现实 世界 应用制作动态头像方面的潜力。
开源地址：https:// github .com/X-LANCE/AniTalker
评论列表
发表评论