利索能及
我要发布
收藏
专利号: 2022117057675
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:包括以下步骤:将人体运动序列数据转换为关节坐标,对关节坐标进行标准化处理得到归一化球面人体三维坐标,然后将归一化球面人体三维坐标转换为球面人体二维极坐标;

根据球面人体二维极坐标为单个人体关节构建独立的全连接网络,再根据人体骨架的结构,将全连接网络中一个人体关节的倒数第二层网络中的神经元连接到与该人体关节相连的最后一层网络中的神经元,实现网络参数共享,得到结构化的深度网络模型;

使用球面人体二维极坐标作为训练数据,以最小化重构误差为目标对深度网络模型进行参数训练,并在训练后对深度网络模型的网络参数进行量化,将量化后的网络参数作为压缩后的数据;

根据量化后的网络参数,输入时间帧计算对应时刻中每一人体关节的球面极坐标相对坐标位置,再将球面二维极坐标转换为球面三维相对坐标,并根据人体骨骼长度转换为绝对坐标从而重构出完整的人体运动序列数据。

2.根据权利要求1所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:一个运动序列由多个运动帧组成,而一个运动帧可表示为人体骨骼中所有关节的绝对坐标,即 其中 表示人体第i个关节的位置,d是人体骨架中的关节数;

根据人体骨架结构,首先计算一个人体关节的归一化位置x,如下所示:p

其中J表示人体子关节的绝对坐标,J表示相对于J的父关节的绝对坐标;

然后根据归一化位置x计算转换为球面极坐标时的两个角度θ和

其中(xi)j是人体第xi关节的第j个元素,j可以取1到3,arccos·是反余弦函数,arctan2·,·是第四象限反正切函数,那么一个人体运动帧f可以重新表示为其中 表示第i个人体关节的球面极坐标。

3.根据权利要求2所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:结构化的深度网络模型输出层中,第i个关节的网络的输出 被计算为:其中ni是第i个关节的网络的层数, 表示第i个关节的网络最后一层的输出,表示倒数第二个网络层的神经元与最后一层的神经元之间的权重, 表示第i个关节的网络倒数第二层的输出, 是最后一个网络层的第i个人体关节的偏置,Δi是相应关节与第i个人体关节连接的索引集, 是第j个人体关节的倒数第二层网络的神经元与第i个人体关节的最后一层的神经元之间的权重; 表示第j个关节的网络倒数第二层的输出;

除了输出层,其他层的输出都是按照标准的全连接网络计算的:

其中tanh(·是双曲切线激活函数, 其中t表示时间序列,其中 是第k层的第i个人体关节的输出, 是第k个网络层中第i个人体关节的神经元数量,是第k‑1个网络层的神经元与第k个网络层的神经元之间的权重,是第k个网络层的第i个人体关节的偏置。

4.根据权利要求3所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:这里网络所选择的损失函数为均方误差,损失 计算方式为:其中:

F(Θ,t)表示训练后的网络,Θ表示网络参数的集合, 表示输入时间序列t的第i个关节的网络输出,N表示时间帧数, 表示时间t真实的每一人体关节的球面极坐标,ht表示时间序列t网络生成的每一人体关节的球面极坐标。

5.根据权利要求4所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:训练结束后,将模型参数Θ从float32量化为float16,量化后所学网络参数的集合表示为 即压缩后的数据。

6.根据权利要求5所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:压缩率r的计算方法是:

7.根据权利要求6所述的一种基于结构化网络的人体运动数据压缩和恢复方法,其特征在于:根据网络学的参数求得任意时刻t中每一人体关节的球面极坐标其中 表示第i个人体关节的球面极坐标,然后,第i个人体关节的归一化三维位置的坐标 被计算为其中 是 关节的第j个元素,j取1到3,

再根据人体骨骼长度转换为绝对坐标从而重构出完整的运动序列:

当得到每一个人体关节的归一化位置,根据人体本身的结构和骨骼的长度计算每个关节的绝对位置坐标 的公式为:其中, 是第i个人体关节的绝对坐标, 是 的父关节的绝对坐标,li为 和 之间人体骨骼长度,通过上式重构出完整的人体运动序列数据,

8.一种基于结构化网络的人体运动数据压缩和恢复系统,其特征在于:包括:坐标转换模块,用于将人体运动序列数据转换为关节坐标,对关节坐标进行标准化处理得到归一化球面人体三维坐标,然后将归一化球面人体三维坐标转换为球面人体二维极坐标;

网络模型构建模块,用于根据球面人体二维极坐标为单个人体关节构建独立的全连接网络,再根据人体骨架的结构,将全连接网络中一个人体关节的倒数第二层网络中的神经元连接到与该人体关节相连的最后一层网络中的神经元,实现网络参数共享,得到结构化的深度网络模型;

数据压缩模块,用于使用球面人体二维极坐标作为训练数据,以最小化重构误差为目标对结构化的深度网络模型进行参数学习,并在学习后对模型的网络参数进行量化,将量化后的网络参数作为压缩后的数据;

数据恢复模块,用于根据量化后的网络参数,输入时间帧计算对应时刻中每一人体关节的球面极坐标相对坐标位置,再将球面二维极坐标转换为球面三维相对坐标,并根据人体骨骼长度转换为绝对坐标从而重构出完整的人体运动序列数据。