利索能及
我要发布
收藏
专利号: 2024110324284
申请人: 深圳市图易拾贝科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种角色动画生成方法,其特征在于,所述方法包括:

获取原始图像;所述原始图像包含至少一个具有正面全身的目标角色;

基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像;

以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像;

获取动作参考序列,并将各所述参考图像输入视频扩散模型;利用所述视频扩散模型,根据所述动作参考序列中的多个参考动作,对各所述参考图像分别进行从静态图像到动态视频的推理,得到多个动作序列;所述动作序列是指执行所述脸部动作的所述目标角色分别同时执行多个所述参考动作的视频;

对各所述动作序列进行动画后处理,得到所述目标角色的角色动画;

其中,所述以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像,包括:获取脸部动作提示词;所述脸部动作提示词用于描述不同的脸部动作;

将所述脸部掩码图像和所述目标角色图像输入图像扩散模型,并利用所述脸部动作提示词引导所述图像扩散模型为所述目标角色生成不同的脸部动作,输出得到多个所述参考图像;所述参考图像是指所述目标角色执行所述脸部动作的图像。

2.如权利要求1所述的方法,其特征在于,所述以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像,包括:基于所述脸部掩码图像中的可见区域和掩码区域,确定所述目标角色的脸部区域在所述脸部掩码图像中的位置;

根据所确定的所述位置和不同的脸部动作,对所述目标角色图像中的所述目标角色进行局部重绘,得到多个所述参考图像。

3.如权利要求1所述的方法,其特征在于,所述对各所述动作序列进行动画后处理,得到所述目标角色的角色动画,包括:按照设定方式分别对各所述动作序列进行采样,得到分别属于不同所述动作序列的若干个帧块;

将属于不同所述动作序列的若干个帧块拼接,得到所述目标角色的角色动画;所述角色动画是指所述目标角色在交替执行不同所述脸部动作的基础上,同时执行多个所述参考动作的视频。

4.如权利要求1所述的方法,其特征在于,所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像,包括:响应于在所述原始图像中针对所述目标角色的脸部区域触发的第一圈选操作,确定所述目标角色的脸部区域在所述原始图像中的位置;

基于所确定的所述位置,对所述原始图像中所述目标角色的脸部区域和其他区域分别进行标记处理,得到所述脸部掩码图像。

5.如权利要求1所述的方法,其特征在于,所述获取原始图像之后,所述方法还包括:对所述原始图像进行筛选处理;所述筛选处理包括分辨率检测、目标角色检测、目标角色的正面全身检测中的至少一种;

删除不满足设定条件的所述原始图像,使得满足设定条件的所述原始图像执行所述基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像的步骤。

6.如权利要求1至5任一项所述的方法,其特征在于,所述脸部区域包括嘴部区域,所述脸部动作包括第一嘴部动作和第二嘴部动作;

多个所述参考图像包括所述目标角色执行所述第一嘴部动作的第一参考图像、以及所述目标角色执行所述第二嘴部动作的第二参考图像;

多个所述动作序列包括所述目标角色分别同时执行所述第一嘴部动作和多个参考动作的第一动作序列、以及所述目标角色分别同时执行所述第二嘴部动作和多个所述参考动作的第二动作序列;

所述角色动画是指所述目标角色在交替执行所述第一嘴部动作和所述第二嘴部动作的基础上,同时执行多个所述参考动作的视频。

7.一种角色动画生成装置,其特征在于,所述装置包括:

原始图像获取模块,用于获取原始图像;所述原始图像包含至少一个具有正面全身的目标角色;

输入图像确定模块,用于基于所述原始图像中的所述目标角色及其脸部区域,确定所述目标角色的脸部掩码图像和目标角色图像;

第一动画扩散模块,用于以所述脸部掩码图像和所述目标角色图像作为输入,进行与脸部动作有关的第一次动画扩散,得到多个参考图像;

第二动画扩散模块,用于获取动作参考序列,并将各所述参考图像输入视频扩散模型;

利用所述视频扩散模型,根据所述动作参考序列中的多个参考动作,对各所述参考图像分别进行从静态图像到动态视频的推理,得到多个所述动作序列;所述动作序列是指执行所述脸部动作的所述目标角色分别同时执行多个所述参考动作的视频;

动画后处理模块,用于对各所述动作序列进行动画后处理,得到所述目标角色的角色动画;

其中,所述第一动画扩散模块,还用于获取脸部动作提示词;所述脸部动作提示词用于描述不同的脸部动作;将所述脸部掩码图像和所述目标角色图像输入图像扩散模型,并利用所述脸部动作提示词引导所述图像扩散模型为所述目标角色生成不同的脸部动作,输出得到多个所述参考图像;所述参考图像是指所述目标角色执行所述脸部动作的图像。

8.一种电子设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器上存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的角色动画生成方法。