利索能及
我要发布
收藏
专利号: 202211603004X
申请人: 数虹智擎(上海)数字科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-06-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数字人驱动方法,包括:

基于指定运动视频,提取所述指定运动视频在三维空间的运动状态特征;所述运动状态特征包括所述指定运动视频中的连续多帧图像对应的运动状态信息的特征序列;所述运动状态特征采用矩阵的形式来标识,矩阵中每一行标识一帧图像中对应的运动状态信息,包括:人体的所有关节点的物理相对位置、速度和加速度;矩阵中的每一列对应一类运动状态;

对所述指定运动视频中的运动进行触地检测,获取触地检测结果;

基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库,获取所述指定运动视频所展示的运动的目标运动状态特征;所述运动状态数据库中包括运动对象在三维空间中做各种运动时的运动状态特征;所述运动状态数据库中包括多种运动中每一种运动的运动状态信息的特征序列;每一种运动的运动状态信息的特征序列包括每一帧运动所在位置、人体中各关节点在三维空间中的物理相对位置、速度以及加速度等特征;

基于所述目标运动状态特征,对数字人进行迁移驱动;

基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库,获取所述指定运动视频所展示的运动的目标运动状态特征,包括:若确定所述触地检测结果标识的所述指定运动视频中的运动触地时,从所述运动状态数据库中获取与所述运动状态特征最匹配的第一候选运动状态特征以及相应的第一匹配度;

基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征。

2.根据权利要求1所述的方法,其中,基于指定运动视频,提取所述指定运动视频在三维空间的运动状态特征,包括:感知所述指定运动视频的各帧图像中的二维空间的第一运动状态信息;

将所述指定运动视频的各帧图像中的所述第一运动状态信息映射至三维参数化模型中,得到三维空间的第二运动状态信息;

基于所述指定运动视频的各帧图像的所述第二运动状态信息,构建所述指定运动视频在三维空间的所述运动状态特征。

3.根据权利要求1所述的方法,其中,确定所述触地检测结果标识的所述指定运动视频中的运动触地之前,所述方法还包括:检测所述触地检测结果标识的所述指定运动视频中的运动是否触地。

4.根据权利要求1所述的方法,其中,基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征,包括:若所述第一匹配度大于或者等于所述第一预设匹配度阈值,将所述第一候选运动状态特征作为所述目标运动状态特征。

5.根据权利要求4所述的方法,其中,基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征,还包括:若所述第一匹配度小于所述第一预设匹配度阈值,基于所述第一候选运动状态特征和所述运动状态特征,进行插值计算,获取所述目标运动状态特征。

6.根据权利要求1所述的方法,其中,基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库,获取所述指定运动视频所展示的运动的目标运动状态特征,还包括:若所述触地检测结果标识的所述指定运动视频中的运动未触地,基于所述运动状态特征,抽取关键帧运动状态特征;

从所述运动状态数据库中获取与所述关键帧运动状态特征最匹配的候选关键帧运动状态特征以及相应的第二匹配度;

基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征。

7.根据权利要求6所述的方法,其中,基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征,包括:若所述第二匹配度大于或者等于所述第二预设匹配度阈值,基于所述候选关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征。

8.根据权利要求7所述的方法,其中,基于所述候选关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征,包括:将所述运动状态特征中,所述关键帧运动状态特征替换为所述候选关键帧运动状态特征,作为所述目标运动状态特征。

9.根据权利要求7所述的方法,其中,基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征,还包括:若所述第二匹配度小于第二预设匹配度阈值,基于所述候选关键帧运动状态特征和所述关键帧运动状态特征进行插值计算,获取目标关键帧运动状态特征;

基于所述目标关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征。

10.根据权利要求9所述的方法,其中,基于所述目标关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征,包括:将所述运动状态特征中,所述关键帧运动状态特征替换为所述目标关键帧运动状态特征,作为所述目标运动状态特征。

11.一种数字人驱动装置,包括:

特征提取模块,用于基于指定运动视频,提取所述指定运动视频在三维空间的运动状态特征;所述运动状态特征包括所述指定运动视频中的连续多帧图像对应的运动状态信息的特征序列;所述运动状态特征采用矩阵的形式来标识,矩阵中每一行标识一帧图像中对应的运动状态信息,包括:人体的所有关节点的物理相对位置、速度和加速度;矩阵中的每一列对应一类运动状态;检测结果获取模块,用于对所述指定运动视频中的运动进行触地检测,获取触地检测结果;

特征获取模块,用于基于所述指定运动视频的所述运动状态特征、所述触地检测结果和预先建立的运动状态数据库,获取所述指定运动视频所展示的运动的目标运动状态特征;所述运动状态数据库中包括运动对象在三维空间中做各种运动时的运动状态特征;所述运动状态数据库中包括多种运动中每一种运动的运动状态信息的特征序列;每一种运动的运动状态信息的特征序列包括每一帧运动所在位置、人体中各关节点在三维空间中的物理相对位置、速度以及加速度等特征;

驱动模块,用于基于所述目标运动状态特征,对数字人进行迁移驱动;

所述特征获取模块,包括:

匹配获取单元,若确定所述触地检测结果标识的所述指定运动视频中的运动触地时,从所述运动状态数据库中获取与所述运动状态特征最匹配的第一候选运动状态特征以及相应的第一匹配度;

特征获取单元,用于基于所述第一匹配度、第一预设匹配度阈值、所述第一候选运动状态特征以及所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征。

12.根据权利要求11所述的装置,其中,所述特征提取模块,包括:感知单元,用于感知所述指定运动视频的各帧图像中的二维空间的第一运动状态信息;

映射单元,用于将所述指定运动视频的各帧图像中的所述第一运动状态信息映射至三维参数化模型中,得到三维空间的第二运动状态信息;

构建单元,用于基于所述指定运动视频的各帧图像的所述第二运动状态信息,构建所述指定运动视频在三维空间的所述运动状态特征。

13.根据权利要求11所述的装置,其中,所述特征获取模块,还包括:检测单元,用于检测所述触地检测结果标识的所述指定运动视频中的运动是否触地。

14.根据权利要求11所述的装置,其中,所述特征获取单元,用于:若所述第一匹配度大于或者等于所述第一预设匹配度阈值,将所述第一候选运动状态特征作为所述目标运动状态特征。

15.根据权利要求11所述的装置,其中,所述特征获取单元,还用于:若所述第一匹配度小于所述第一预设匹配度阈值,基于所述第一候选运动状态特征和所述运动状态特征,进行插值计算,获取所述目标运动状态特征。

16.根据权利要求11所述的装置,其中,所述匹配获取单元,还用于:若所述触地检测结果标识的所述指定运动视频中的运动未触地,基于所述运动状态特征,抽取关键帧运动状态特征;

从所述运动状态数据库中获取与所述关键帧运动状态特征最匹配的候选关键帧运动状态特征以及相应的第二匹配度;

所述特征获取单元,还用于:

基于所述第二匹配度、第二预设匹配度阈值、所述关键帧运动状态特征、所述候选关键帧运动状态特征和所述运动状态特征,获取所述指定运动视频所展示的运动的所述目标运动状态特征。

17.根据权利要求16所述的装置,其中,所述特征获取单元,用于:若所述第二匹配度大于或者等于所述第二预设匹配度阈值,基于所述候选关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征。

18.根据权利要求17所述的装置,其中,所述特征获取单元,用于:将所述运动状态特征中,所述关键帧运动状态特征替换为所述候选关键帧运动状态特征,作为所述目标运动状态特征。

19.根据权利要求16所述的装置,其中,所述特征获取单元,用于:若所述第二匹配度小于第二预设匹配度阈值,基于所述候选关键帧运动状态特征和所述关键帧运动状态特征进行插值计算,获取目标关键帧运动状态特征;

基于所述目标关键帧运动状态特征和所述运动状态特征,获取所述目标运动状态特征。

20.根据权利要求19所述的装置,其中,所述特征获取单元,用于:将所述运动状态特征中,所述关键帧运动状态特征替换为所述目标关键帧运动状态特征,作为所述目标运动状态特征。

21.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑10中任一项所述的方法。

23.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑10中任一项所述的方法。