1.一种基于手部关节的人手姿态估计方法,其特征在于:包括以下步骤:S1、采集人手初始图像,对所述人手初始图像进行预处理,得到多个手部关节图像;
S2、使用HRNet网络根据手部关节特征对所述多个手部关节图像进行特征提取,得到多个手部关节特征图像;
S3、根据所述多个手部关节特征图像分别使用二维关节预测网络进行手部关节的概率密度图预测,得到多个关键点热图;
S4、将所述多个关键点热图合并,得到人手分布图,对所述人手分布图进行优化得到人手关节姿态特征图;
S5、根据所述人手分布图和人手关节姿态特征图预测人手姿态,得到人手关节三维坐标,根据所述人手关节三维坐标得到人手姿态估计结果。
2.如权利要求1所述的一种基于手部关节的人手姿态估计方法,其特征在于:所述HRNet网络包括瓶颈模块和基础模块,步骤S2具体包括:S21、使用所述瓶颈模块对所述多个手部关节图像进行第一阶段特征提取,得到手部关节图像的第一阶段特征图;
S22、使用所述基础模块对第一阶段特征图进行第二阶段特征提取,得到手部关节图像的第二阶段特征图;
S23、使用所述基础模块对第二阶段特征图进行第三阶段特征提取,得到第一特征图,将所述第一特征图与第二阶段特征图中最高分辨率特征图进行融合,得到手部关节图像的第三阶段特征图;
S24、使用所述基础模块对第三阶段特征图进行第四阶段特征提取,得到第二特征图,将所述第二特征图与第三阶段特征图中最高分辨率特征图进行融合,得到手部关节特征图像。
3.如权利要求2所述的一种基于手部关节的人手姿态估计方法,其特征在于:步骤S21具体包括:使用瓶颈模块的残差网络对所述多个手部关节图像进行第一阶段特征提取,得到多个第三特征图;
使用CBAM注意力机制对所述多个第三特征图进行通道和空间信息整合,得到多个第四特征图;
使用连接公式对所述多个第四特征图进行连接,得到手部关节图像的第一阶段特征图。
4.如权利要求3所述的一种基于手部关节的人手姿态估计方法,其特征在于:所述连接公式为:;
其中,表示第i个手部关节图像的第四特征图,表示第i个第四特征图连接的特征,表示手部关节特征的个数, 表示第四特征图通过滤波器进行卷积提取的特征, 表示第
1个第四特征图, 表示第i个手部关节图像的第四特征图与第i‑1个第四特征图连接的特征连接后通过滤波器进行卷积提取的特征。
5.如权利要求1所述的一种基于手部关节的人手姿态估计方法,其特征在于:步骤S3具体包括:使用二维关节预测网络根据多个手部关节特征图像生成多张不同关节的概率密度图;
计算出所述不同关节的概率密度图中像素点的置信度分数;
将所述不同关节的概率密度图中最高置信度分数和次高置信度分数方向的四分之一偏移位置作为概率密度图的关键点,所述关键点构成关键点热图;
将所述关键点映射至手部关节特征图像,得到所述关键点的二维坐标。
6.如权利要求5所述的一种基于手部关节的人手姿态估计方法,其特征在于:步骤S3中使用关键点坐标公式计算关键点的二维坐标,所述关键点坐标公式如下:
;
;
;
其中, 表示第j关节像素点对应的二维坐标的横坐标,表示第j关节像素点对应的二维坐标的纵坐标,x表示最高置信度分数对应像素点的横坐标,y表示最高置信度分数对应像素点的纵坐标, 表示概率密度图中最高置信度分数对应像素点的x坐标,表示概率密度图中最高置信度分数对应像素点的y坐标, 表示与第j关节概率面密度图中最高置信度分数对应像素点坐标相邻右边的置信度分数; 表示与第j关节概率面密度图中最高置信度分数对应的像素点坐标相邻左边的置信度分数, 表示第j关节的分布图, 表示热图中坐标为 对应的像素点, 表示第j关节的概率密度图, 表示第j关节关键点热图。
7.如权利要求1所述的一种基于手部关节的人手姿态估计方法,其特征在于:步骤S4具体包括:将所述多个关键点热图合并,得到人手分布图;
根据所述人手分布图确定人手的分布区域,将所述人手的分布区域作为感兴趣区域;
对所述感兴趣区域进行使用关节姿态编码器进行优化,得到人手关节姿态特征图。
8.如权利要求1所述的一种基于手部关节的人手姿态估计方法,其特征在于:步骤S5中采用两个级联的组卷积进行特征提取,并使用shuffle操作预测人手姿态。
9.一种基于手部关节的人手姿态估计系统,其特征在于:采用如权利要求1‑8任一项所述的基于手部关节的人手姿态估计方法,包括:采集模块,用于采集人手初始图像,根据手部关节特征对所述人手初始图像进行预处理,得到多个手部关节图像;
特征提取模块,用于使用HRNet网络对所述多个手部关节图像进行特征提取,得到多个手部关节特征图像;
热图预测模块,用于根据所述多个手部关节特征图像分别使用二维关节预测网络进行手部关节的概率密度图预测,得到多个关键点热图;
合并模块,用于将所述多个关键点热图合并,得到人手分布图,对所述人手分布图进行优化得到人手关节姿态特征图;
3D关节预测模块,用于根据所述人手分布图和人手关节姿态特征图预测人手姿态,得到人手关节三维坐标,根据所述人手关节三维坐标得到人手姿态估计结果。
10.如权利要求9所述的一种基于手部关节的人手姿态估计系统,其特征在于:所述特征提取模块采用使用HRNet网络进行特征提取,其中所述HRNet网络包括瓶颈模块和基础模块,所述瓶颈模块用于对多个手部关节图像进行特征提取,得到第一阶段特征图;
所述基础模块用于对所述第一阶段特征图进行特征提取,得到所述手部关节特征图像。