音频驱动的人脸模拟

SadTalker 是由西安交通大学（西交大）开源的项目。它是一个用于生成风格化的单图说话人脸动画的工具，可以根据输入的图片和音频生成对应音频口型的视频。用户可以给模型一张图片以及一段音频文件，模型会根据音频文件把传递的图片进行人脸的相应动作，比如张嘴、眨眼、移动头部等。它可以从音频中生成3DMM的3D运动系数（头部姿势、表情），并隐式调制一种新颖的3D感知面部渲染，用于生成说话的头部运动视频。