Champ - 基于3D的人物图片转视频动画项目

项目简介

Champ是一个基于3D的人物图片转视频动画项目。它通过将原始视频和一张图片结合起来，让图片动起来。

该项目使用了SMPL（Skinned Multi-Person Linear model）模型生成渲染深度图、法线贴图和语义贴图，结合基于骨架的动作指导，为潜在扩散模型提供了全面的3D形状信息和详细的动作属性。

此外，项目还使用了一个多层运动融合模块，该模块整合了自注意力机制，能够在空间层面上整合形状和动作的信息。

通过将3D人类参数模型作为动作指导的依据，Champ可以在参考图像和源视频动作之间进行精确的形状匹配。

经过在标准数据集上的实验证明，Champ在生成高质量的人类动画方面表现出卓越的性能，能够准确捕捉到动作和形状的变化。

此外，该方法还展现了在新的自然数据集上出色的泛化能力。