利索能及
我要发布
收藏
专利号: 2020102439061
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种动作迁移方法,其特征在于,包括:

获取包括初始对象的动作序列的第一初始视频;

识别所述初始对象在所述第一初始视频的多帧图像中的二维骨架关键点序列;

将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列;

基于所述三维骨架关键点序列,生成包括目标对象的动作序列的目标视频;其中,所述将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列,包括:基于所述二维骨架关键点序列,确定所述初始对象的动作迁移分量序列;

基于所述初始对象的动作迁移分量序列,确定所述目标对象的三维骨架关键点序列;

其中,采用动作迁移神经网络执行将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列;

所述方法还包括训练所述动作迁移神经网络的步骤:

获取包括样本对象的动作序列的样本运动视频;

识别所述样本对象在所述样本运动视频的多帧样本图像中的第一样本二维骨架关键点序列;

对第一样本二维骨架关键点序列进行肢体比例缩放处理,得到第二样本二维骨架关键点序列;

基于所述第一样本二维骨架关键点序列,确定第一样本动作迁移分量序列;

基于所述第二样本二维骨架关键点序列,确定第二样本动作迁移分量序列;

基于所述第一样本动作迁移分量序列,确定预估三维骨架关键点序列;

基于所述第一样本动作迁移分量序列、第二样本动作迁移分量序列和所述预估三维骨架关键点序列,确定损失函数;

基于所述损失函数,调整所述动作迁移神经网络的网络参数;

所述损失函数包括运动不变损失函数;所述第一样本动作迁移分量序列包括每帧样本图像对应的第一样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息;所述第二样本动作迁移分量序列包括每帧样本图像对应的第二样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息;

所述确定所述损失函数,包括:

基于所述第二样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息,确定所述第一样本二维骨架关键点序列中对应的所述第一样本二维骨架关键点对应的第一预估骨架关键点;

基于所述第一样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息,确定所述第二样本二维骨架关键点序列中对应的所述第二样本二维骨架关键点对应的第二预估骨架关键点;

基于所述第一预估骨架关键点、第二预估骨架关键点、第一样本运动分量信息、第二样本运动分量信息、和所述预估三维骨架关键点序列,确定所述运动不变损失函数。

2.根据权利要求1所述的动作迁移方法,其特征在于,在确定所述目标对象的三维骨架关键点序列之前,还包括:获取包括目标对象的第二初始视频;

识别所述目标对象在所述第二初始视频的多帧图像中的二维骨架关键点序列;

所述基于所述初始对象的动作迁移分量序列,确定所述目标对象的三维骨架关键点序列,包括:基于所述目标对象的二维骨架关键点序列,确定所述目标对象的动作迁移分量序列;

基于所述初始对象的动作迁移分量序列和所述目标对象的动作迁移分量序列,确定目标动作迁移分量序列;

基于所述目标动作迁移分量序列确定所述目标对象的三维骨架关键点序列。

3.根据权利要求1所述的动作迁移方法,其特征在于,所述初始对象的动作迁移分量序列包括运动分量序列、对象结构分量序列和拍摄角度分量序列;

所述基于所述二维骨架关键点序列,确定所述初始对象的动作迁移分量序列,包括:基于所述第一初始视频的多帧图像中每一帧图像对应的二维骨架关键点,分别确定所述初始对象的运动分量信息、对象结构分量信息和拍摄角度分量信息;

基于所述第一初始视频的多帧图像中每一帧图像对应的运动分量信息,确定所述运动分量序列;

基于所述第一初始视频的多帧图像中每一帧图像对应的对象结构分量信息,确定所述对象结构分量序列;

基于所述第一初始视频的多帧图像中每一帧图像对应的拍摄角度分量信息,确定所述拍摄角度分量序列。

4.根据权利要求1所述的动作迁移方法,其特征在于,所述基于所述三维骨架关键点序列,生成包括目标对象的动作序列的目标视频,包括:基于所述三维骨架关键点序列,生成所述目标对象的二维目标骨架关键点序列;

基于所述二维目标骨架关键点序列,生成包括目标对象的动作序列的目标视频。

5.根据权利要求1所述的动作迁移方法,其特征在于,所述损失函数还包括结构不变损失函数;

所述确定所述损失函数还包括:

从所述第一样本二维骨架关键点序列中,筛选所述样本对象在第一时刻的第一样本二维骨架关键点、所述样本对象在第二时刻的第一样本二维骨架关键点;

从所述第二样本二维骨架关键点序列中,筛选所述样本对象在第二时刻的第二样本二维骨架关键点、和所述样本对象在第一时刻的第二样本二维骨架关键点;

基于所述样本对象在第一时刻的第一样本二维骨架关键点、所述样本对象在第二时刻的第一样本二维骨架关键点、所述样本对象在第二时刻的第二样本二维骨架关键点、所述样本对象在第一时刻的第二样本二维骨架关键点、和所述预估三维骨架关键点序列,确定所述结构不变损失函数。

6.根据权利要求5所述的动作迁移方法,其特征在于,所述损失函数还包括视角不变损失函数;

所述确定所述损失函数还包括:

基于所述样本对象在第一时刻的第一样本二维骨架关键点、所述样本对象在第二时刻的第一样本二维骨架关键点、第一样本角度分量信息、第二样本角度分量信息、和所述预估三维骨架关键点序列,确定所述视角不变损失函数。

7.根据权利要求6所述的动作迁移方法,其特征在于,所述损失函数还包括重建恢复损失函数;

所述确定所述损失函数还包括:

基于所述第一样本二维骨架关键点序列和所述预估三维骨架关键点序列,确定所述重建恢复损失函数。

8.一种动作迁移装置,其特征在于,包括:

视频获取模块,用于获取包括初始对象的动作序列的第一初始视频;

关键点提取模块,用于识别所述初始对象在所述第一初始视频的多帧图像中的二维骨架关键点序列;

关键点转换模块,用于将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列;

图像渲染模块,用于基于所述三维骨架关键点序列,生成包括目标对象的动作序列的目标视频;

其中,所述关键点转换模块在将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列时,用于:基于所述二维骨架关键点序列,确定所述初始对象的动作迁移分量序列;

基于所述初始对象的动作迁移分量序列,确定所述目标对象的三维骨架关键点序列;

其中,采用动作迁移神经网络执行将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列;

所述装置还包括训练所述动作迁移神经网络的步骤:

获取包括样本对象的动作序列的样本运动视频;

识别所述样本对象在所述样本运动视频的多帧样本图像中的第一样本二维骨架关键点序列;

对第一样本二维骨架关键点序列进行肢体比例缩放处理,得到第二样本二维骨架关键点序列;

基于所述第一样本二维骨架关键点序列,确定第一样本动作迁移分量序列;

基于所述第二样本二维骨架关键点序列,确定第二样本动作迁移分量序列;

基于所述第一样本动作迁移分量序列,确定预估三维骨架关键点序列;

基于所述第一样本动作迁移分量序列、第二样本动作迁移分量序列和所述预估三维骨架关键点序列,确定损失函数;

基于所述损失函数,调整所述动作迁移神经网络的网络参数;

所述损失函数包括运动不变损失函数;所述第一样本动作迁移分量序列包括每帧样本图像对应的第一样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息;所述第二样本动作迁移分量序列包括每帧样本图像对应的第二样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息;

所述确定所述损失函数,包括:

基于所述第二样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息,确定所述第一样本二维骨架关键点序列中对应的所述第一样本二维骨架关键点对应的第一预估骨架关键点;

基于所述第一样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息,确定所述第二样本二维骨架关键点序列中对应的所述第二样本二维骨架关键点对应的第二预估骨架关键点;

基于所述第一预估骨架关键点、第二预估骨架关键点、第一样本运动分量信息、第二样本运动分量信息、和所述预估三维骨架关键点序列,确定所述运动不变损失函数。

9.根据权利要求8所述的动作迁移装置,其特征在于,所述关键点转换模块在将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列时,用于:基于所述二维骨架关键点序列,确定所述初始对象的动作迁移分量序列;

基于所述初始对象的动作迁移分量序列,确定所述目标对象的三维骨架关键点序列。

10.根据权利要求8所述的动作迁移装置,其特征在于,所述视频获取模块还用于获取包括目标对象的第二初始视频;

所述关键点提取模块还用于识别所述目标对象在所述第二初始视频的多帧图像中的二维骨架关键点序列;

所述关键点转换模块在基于所述初始对象的动作迁移分量序列,确定所述目标对象的三维骨架关键点序列时,用于:基于所述目标对象的二维骨架关键点序列,确定所述目标对象的动作迁移分量序列;

基于所述初始对象的动作迁移分量序列和所述目标对象的动作迁移分量序列,确定目标动作迁移分量序列;

基于所述目标动作迁移分量序列确定所述目标对象的三维骨架关键点序列。

11.根据权利要求8所述的动作迁移装置,其特征在于,所述初始对象的动作迁移分量序列包括运动分量序列、对象结构分量序列和拍摄角度分量序列;

所述关键点转换模块在基于所述二维骨架关键点序列,确定所述初始对象的动作迁移分量序列时,用于:基于所述第一初始视频的多帧图像中每一帧图像对应的二维骨架关键点,分别确定所述初始对象的运动分量信息、对象结构分量信息和拍摄角度分量信息;

基于所述第一初始视频的多帧图像中每一帧图像对应的运动分量信息,确定所述运动分量序列;

基于所述第一初始视频的多帧图像中每一帧图像对应的对象结构分量信息,确定所述对象结构分量序列;

基于所述第一初始视频的多帧图像中每一帧图像对应的拍摄角度分量信息,确定所述拍摄角度分量序列。

12.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1~7任一所述的动作迁移方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1~7任一所述的动作迁移方法。