1.一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:包括以下步骤:S1:构建原始数据集,使用训练好的2D人体姿态检测器获得人体的2D关键点坐标,并使用高斯拉普拉斯算子获得边缘特征明显的原始图像;
S2:将以人体关节为节点的原始骨架图 转换为以骨骼为节点的线图;
S3:将原始骨架图 转换成显式表征关节点之间角度关系的二阶图;具体包括:S3.1:把原始骨架图 转换为显式表征关节点之间角度关系的二阶图 ;
其中 ,表示原始骨架
图中路径长度为2的节点之间构成的连边;
S3.2:计算二阶图 的邻接矩阵,并为二阶图 生成节点特征 ;
其中原始骨架图 的邻接矩阵表示为 ,其中 =16, ,值为1表示两个节点相连,为0则表示不相连;表征角度的二阶图 的邻接矩阵 表示为:二阶图 的节点特征 ,当 和 是二阶邻居时, = 和 之间的角度值,当 或 和 非二阶邻居时, ;
S4:构建角度图特征对比融合模块,通过交叉对比学习将不同尺度的角度图特征进行融合;角度图特征对比融合模块由普通图神经网络层和反池化图卷积层构成,前者用于提取线图和二阶图的特征,后者通过反池化操作线图的中间特征与二阶图的中间特征的维度保持一致,最终通过可学习的权重参数完成特征融合;
S5:训练角度图特征对比融合模块,获得中间模型:将处理后的图像输入卷积神经网络模型,得到图像特征,并将图像特征与角度图特征进行融合,最后回归得到3D人体姿态信息;
S6:对中间模型进行监督微调:调整中间模型的回归头的参数,冻结中间模型的其他参数,得到最终的3D人体姿态估计模型。
2.如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:所述步骤S1具体包括:S1.1:将Human3.6M数据集中的二维图像 经过级联金字塔网络得到其归一化处理后的16个2D关键点坐标 ,其中 ;
S1.2:使用高斯拉普拉斯算子对 进行边缘锐化处理得到 ,其分辨率为 ;
所述高斯拉普拉斯算子为:
其中,表示标准差,,分别表示像素点的坐标,表示自然对数。
3.如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:所述步骤S2具体包括:S2.1:将以人体关节为节点原始骨架图 转换为以人体骨骼为节点的线图;
其中 表示为原始骨架图 和线图 的节点集和连边集,表示为和 ,线图 的节点为原始
骨架图的边,表示为 ,而边则表示为 ;当且仅当原始骨架图中的两条边有公共节点时才相连;S2.2:计算原始骨架图 中有公共节点的两条边之间的夹角作为线图 上边的权重,把原始骨架图边的骨骼两端端点坐标作为线图 的节点特征 ;
其中 ,所述线图 的邻接矩阵表示为 ,其中由以下公式获得:
其中 为二值矩阵,表示原始骨架图中节点集 的节点是否是连边集 中连边的端点,表示为单位矩阵,F(·)表示为计算原始骨架图中关节角度的函数。
4.如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:步骤S4具体包括:S4.1:通过普通图神经网络层分别对线图 和二阶图 进行特征提取,生成中间特征和 ,其中 为特征维度,同时对原始图 应用普通图神经网络,生成中间特征 ;
所述普通图神经网络层表示为:
上式进一步描述为:
其中, 表示可学习的权重矩阵, 表示线图 的邻接矩阵, 表示激活函数, 表示调制矩阵, 表示哈达玛乘积,表示由二阶图 或原图 的邻接矩阵对称归一化后得到的邻接矩阵;
S4.2:通过反池化图卷积层对线图中间特征进行维度转换,得到 ;
所述反池化图卷积层包括两个单独的图卷积网络,分别用于得到嵌入矩阵和对齐矩阵:其中, 表示嵌入矩阵, 表示对齐矩阵,最终,线图 通过以下公式得到与二阶图 维度一致的中间特征:
其中, 表示反池化操作后线图 的中间特征;
S4.3:通过交叉对比学习实现不同尺度的角度图特征的融合;具体地,通过三种不同形式的损失函数约束特征学习;
交叉对比中的原始图的中间特征 与线图的中间特征 ,用于增强局部角度信息和边几何特性的表达,计算公式为:其中, 表示为余弦相似度,表示为温度参数, 分别表示为节点 在原始图和线图中的特征向量;
交叉对比中的原始图的中间特征 和二阶图的中间特征 ,用于强化高阶角度关系和全局结构信息的捕获,计算公式为:其中, 表示为节点 在二阶图中的特征向量;
交叉对比中的原始图的中间特征 与原始图经过二阶图编码器处理后输出的中间特征 ,用于确保多视图特征的一致性,计算公式为:通过对比损失的联合约束,利用可学习的权重参数 ,对三种视图的特征进行融合,生成中间融合特征 ,融合公式为:其中, 表示为沿特征维度的拼接操作。
5.如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:步骤S5具体包括:S5.1:训练角度图特征对比融合模块,获得中间模型,通过梯度下降优化损失函数 ,角度图特征对比融合模块的总体对比损失为:其中, 和 表示为超参数,用于平衡各损失项;
S5.2:将处理后的图像输入卷积神经网络模型,得到图像特征,并将图像特征与角度图特征进行融合;所述卷积神经网络模型为HRNet,通过转换模块将四个阶段不同尺度的图像特征与角度图特征进行融合,其中转换模块使用全连接层将二维的图像特征降至一维。
6.如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法,其特征在于:步骤S6所述的中间模型进行监督微调过程冻结中间模型的其他参数,并对推理模块的输出头使用加权损失函数进行微调,具体公式表示为:其中,表示平均平方误差 和平均绝对误差 的加权和,加权系数 。
7.实现如权利要求1所述的一种基于角度图和图像特征融合的3D人体姿态估计方法的系统,其特征在于:包括数据预处理模块、图网络构建模块、角度图特征对比融合模块、图像特征融合模块、推理模块;
所述数据预处理模块从原始图像中获得人体2D关键点坐标并进行归一化处理,同时使用高斯拉普拉斯算子对原图像进行边缘特征增强;
所述图网络构建模块利用已知的2D姿态信息使用两种不同的方式进行构网,使得新的图网络结构具备表征关节角度信息的能力;具体包括:S3.1:把原始骨架图 转换为显式表征关节点之间角度关系的二阶图 ;
其中 ,表示原始骨架
图中路径长度为2的节点之间构成的连边;
S3.2:计算二阶图 的邻接矩阵,并为二阶图 生成节点特征 ;
其中原始骨架图 的邻接矩阵表示为 ,其中 =16, ,值为1表示两个节点相连,为0则表示不相连;表征角度的二阶图 的邻接矩阵 表示为:二阶图 的节点特征 ,当 和 是二阶邻居时, = 和 之间的角度值,当 或 和 非二阶邻居时, ;
所述角度图特征对比融合模块通过交叉对比不同尺度的角度图特征的方式,使得不同尺度的角度图特征具有一致的维度并进行特征融合;
所述图像特征融合模块使用全连接层网络将原始图像两种不同的特征在模型的不同阶段进行融合;
所述推理模块最终输出模型的推理结果,即人体的3D姿态信息;
所述的数据预处理模块、图网络构建模块、角度图特征对比融合模块、图像特征融合模块、推理模块依次相连。
8.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现权利要求1‑6中任一项所述的基于角度图和图像特征融合的3D人体姿态估计方法。