利索能及
我要发布
收藏
专利号: 2020108159774
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于判别作业人员姿态规范程度的方法,包括如下步骤:

步骤一,构建人体姿态特征提取网络,并对其网络结构参数进行设计;

使用截断的VGG-16网络和额外的卷积层来构建人体姿态特征提取网络;当输入一副尺寸大小为w*h的图像时,经过该网络的分析处理,生成一个多尺度的特征图F;

所构建的人体姿态特征提取网络结构设计如下:

(1)输入层:分辨率为w*h像素大小的多人视频帧RGB三通道图像;

(2)截断的VGG-16网络结构:该结构一共包含4组卷积和池化操作,其中包括10个卷积层和3个池化层;第一组:Conv1_1、Conv1_2、Pool1;第二组:Conv2_1、Conv2_2、Pool2;第三组:Conv3_1、Conv3_2、Conv3_3、Pool3;第四组:Conv4_1、Conv4_2、Conv4_3;其中,在Conv4_

3后又连接了附加的卷积层;

(3)额外的卷积层:在截断的VGG-16网络之后,本网络连接了两个附加的卷积层,即Conv4_4、Conv4_5;为了输出多维特征图,所设计的人体姿态特征提取网络在其附加的卷积层之后增加了一个池化操作,即Pool4;

对于每一层网络具体的参数设计,将从卷积层和池化层的核结构、操作步长及操作方式入手;其网络具体参数设计如下:(S1)在第一组卷积和池化操作中,有两个卷积分层和一个池化层;其中,Conv1_1和Conv1_2中卷积核大小均为3*3,卷积通道均为64,卷积步长均为1;Pool1中池化核为2*2,池化核滑动步长为2,采用最大池化的方式进行池化操作;在第一组操作中,最终得到的特征图大小为(S2)在第二组卷积和池化操作中,有两个卷积分层和一个池化层;其中,Conv2_1和Conv2_2中卷积核大小均为3*3,卷积通道均为128,卷积步长均为1;Pool2中池化核为2*2,池化核滑动步长为2,采用最大池化的方式进行池化操作;在第二组操作中,最终得到的特征图大小为(S3)在第三组卷积和池化操作中,有三个卷积分层和一个池化层;其中,Conv3_1、Conv3_2及Conv3_3中卷积核大小均为3*3,卷积通道均为256,卷积步长均为1;Pool3中池化核为2*2,池化核滑动步长为2,采用最大池化的方式进行池化操作;在第三组操作中,最终得到的特征图大小为(S4)在第四组卷积操作中,有三个卷积分层,即Conv4_1、Conv4_2、Conv4_3;其中,每个卷积分层中卷积核大小均为3*3,卷积通道均为512,卷积步长均为1;此操作过程中由于没有经过池化操作,故其特征图像素保持不变,最终得到的特征图大小为(S5)在额外的卷积层中,共有两个卷积分层组成,即Conv4_4和Conv4_5;其中,每个卷积分层中卷积核大小均为3*3,卷积步长均为1,卷积通道分别为256和128;为了得到固定维度的特征图,最后在Conv4_5之后增加一个池化层Pool4,其池化核大小为3*3,滑动步长为

1,池化方式为平均池化,最终得到的特征图为

(S6)在人体姿态特征提取网络中,关于全部卷积层后连接的激活函数,本发明使用的均为ReLu激活函数:ReLu(x)=max(0,x)       (1)

步骤二,构建并行网络结构,识别骨骼关键点并将相邻关键点连接成为人体主要躯干;

将步骤一中得到的人体姿态特征图输入到该步骤所设计的并行网络结构中,将输出人体骨骼关键点和相应的主要躯干;

该并行网络结构分为上下两个分支,各分支都是一个迭代预测的体系结构;第一个分支用于估计人体骨骼关键点,主要是对单张图像进行卷积操作生成关键点的置信图集合,其表示为S=(S1,S2,S3,...,SJ);第二个分支用于分析像素点在骨架中的走向,即预测关键点的亲和场集合,其表示为L=(L1,L2,L3,...,LC);其中,J表示骨骼关键点总个数,C表示连接关键点的躯干的数量;

该并行网络共包含T个阶段,其中第一阶段为初始化阶段卷积网络,其余阶段为细化阶段卷积网络,每两个阶段之间通过加入中间监督来解决梯度消失问题;其结构设计如下:

1)初始化阶段卷积网络:每个分支均由五个卷积层构成,其中前三层的卷积核大小为

3*3,卷积步长为1,通道个数为128;第四层的卷积核大小为1*1,卷积步长为1,通道个数为

512;第五层的卷积核大小为1*1,卷积步长为1,通道个数为13;

2)细化阶段卷积网络:每个分支均由七个卷积层构成,其中前五层的卷积核大小为7*

7,卷机步长为1,通道个数为128;后两层的卷积核大小为1*1,卷积步长为1,通道个数为

128;

将所得特征图F输入初始阶段卷积网络来对骨骼关键点和相关躯干进行初始估计,然后执行细化阶段的卷积网络,找到所标记的13种类型的关键点和每个关键点的最佳对应躯干;

该并行网络结构中所应用到的函数设计如下:

(Q1)在初始化卷积网络阶段中,输出一组骨骼关键点置信度图和骨架走向矢量集合,其分别表示为下式:S1=ρ1(F)                      (2)

L1=φ1(F)                      (3)

其中,ρ1(·)和φ1(·)表示初始阶段卷积网络结构,F表示步骤一网络所输出的特征;

在后续的细化阶段卷积网络中,将上一阶段的输出结果和特征F相加作为下一阶段的输入,则在第t阶段的骨骼关键点置信度图St和骨架走向矢量集合Lt分别表示为下式:St=ρt(St-1,Lt-1,F)                    (4)Lt=φt(St-1,Lt-1,F)                    (5)(Q2)为了使得并行网络在各阶段的不同分支上能够预测各自的任务,须对每个分支设置其损失函数,则将第t阶段用于估计人体骨骼关键点分支的损失函数表示为 用于分析像素点在骨架中的走向分支的损失函数表示为 其具体公式用L2范式表示如下:其中, 表示标定好的j个真实关键点的置信图; 表示标定好的c个真实的骨架走向,即部分亲和场;W(·)是一个布尔值,当图像中p点位置的标注数据缺失时,其值为0,否则为1;

在整个并行网络结构中(共T阶段),总的损失函数表示为:

(Q3)计算损失函数 中每个真实关键点的置信图 当单幅图像中有k个人,每个人有j个可见关键点时,则每张置信图均有j个峰值;将特征图F传输至并行网络结构中进行关键点检测,会预测出一批关键点置信图,将预测所得的关键点Xj,k和真实的关键点p点经过下式计算可以得到矫正后的关键点:其中,σ表示峰值蔓延程度;p和Xj,k分别表示真实关键点和并行网络预测关键点的坐标;

将求得的 集合通过非极大值抑制来获得最终输出的预测置信图,具体公式如下所示:

(Q4)计算损失函数 中真实的骨架走向 所谓骨架走向即是指两个关键点所连接的二维向量(躯干);

对于第k个人骨骼关键点连接方式而言,通过并行网络预测出两个关键点j1和j2的坐标值Xj1,k及Xj2,k,则由这两个关键点组成的一个骨架走向C表示为向量 当点p在此骨架上时,只有从点j1指向点j2时,向量 才为单位向量,否则为零向量,其判别公式如下所示:骨架走向C上的点p满足下式约束:

0≤v*(p-xj1,k)≤lc,k&|v⊥*(p-xj1,k)|≤σl             (13)lc,k=||xj2,k-xj1,k||2                    (14)其中,lc,k表示第k个人骨架走向C的长度;v⊥表示垂直于单位向量的矢量,σl表示骨架宽度;如若多个骨架C重合时,则需要利用下式求平均值:其中,nc(p)表示不为零向量的 的个数;

(Q5)通过两个关键点匹配最佳人体骨干连接方式;

对于单人而言,在预测过程中,通过计算Xj1,k及Xj2,k两点之间的亲和域来判别所预测两点是否属于同一个人,具体的计算公式如下所示:其中,dj1和dj2分别表示Xj1,k及Xj2,k两点所对应的像素点;

当单幅图像中存在k个人时,可利用上式(10)预测出一组离散的关键点集合,但对于这些关键点而言,存在很多连接方式,但并不是所有连接方式均来自同一个人,也就意味着虽然将两个关键点进行了连接,但其并没有组成人体躯干,所以无法用公式(16)来预测;为此,通过下式来匹配关键点,从而形成人体躯干:其中,Dj1和Dj2分别表示所预测关键点j1和j2的坐标集合,其可以表示为Nj代表关键点j的个数; 表示两个预测关

键点 和 是否可以连接,Emn表示权重,可以由公式(16)求得;

最终通过公式(17)计算得到人体骨骼连接的最佳匹配方案;

步骤三,利用反余弦函数计算主要躯干之间的夹角;

根据步骤二所设计的并行网络结构可以求得13个人体关键点最佳坐标,即鼻子(x1,y1)、脖子(x2,y2)、右肩(x3,y3)、右肘(x4,y4)、右手腕(x5,y5)、左肩(x6,y6)、左肘(x7,y7)、左手腕(x8,y8)、臀部(x9,y9)、右膝(x10,y10)、右脚裸(x11,y11)、左膝(x12,y12)、左脚裸(x13,y13);

同时得到12个人体躯干,包括鼻子与脖子连接的颈部躯干、脖子与右肩连接的右膀躯干、右肩与右肘连接的右大臂躯干、右肘与右手腕连接的右小臂躯干、脖子与左肩连接的左膀躯干、左肩与左肘连接的左大臂躯干、左肘与左手腕连接的左小臂躯干、脖子与臀部连接的上肢躯干、臀部与右膝连接的右大腿躯干、右膝与右脚裸连接的右小腿躯干、臀部与左膝连接的左大腿躯干、左膝与左脚裸连接的左小腿躯干;

为了在最大程度上反应作业人员姿态规范程度,本步骤选择的主要躯干之间的夹角有

6个,即颈部与上肢之间的夹角θ1、右大臂与右小臂之间的夹角θ2、左大臂与左小臂之间的夹角θ3、上肢与大腿之间的夹角θ4、右大腿与右小腿之间的夹角θ5及左大腿与左小腿之间的夹角θ6;

(P1)计算颈部与上肢之间的夹角来判别作业状态下头部的下垂程度;根据步骤二预测得到鼻子、颈部和臀部三点的坐标,然后利用反余弦函数求得此夹角θ1的大小,具体的计算公式如下所示:(P2)计算右大臂与右小臂之间的夹角来判别作业状态下右臂的弯曲程度;根据步骤二预测得到右肩、右肘和右手腕三点的坐标,然后利用反余弦函数求得此夹角θ2的大小,具体的计算公式如下所示:(P3)计算左大臂与左小臂之间的夹角来判别作业状态下左臂的弯曲程度;根据步骤二预测得到左肩、左肘和左手腕三点的坐标,然后利用反余弦函数求得此夹角θ3的大小,具体的计算公式如下所示:(P4)计算上肢与大腿之间的夹角来判别作业状态下腰部的弯曲程度;根据步骤二预测得到脖子、臀部、左膝和右膝四点的坐标,然后求得左膝和右膝的中点坐标作为两膝重心,随后利用反余弦函数求得此夹角θ4的大小;

两膝重心坐标记为(x14,y14),表示为下式:

则:

(P5)计算右大腿与右小腿之间的夹角来判别作业状态下右腿的弯曲程度;根据步骤二预测得到臀部、右膝和右脚裸三点的坐标,然后利用反余弦函数求得此夹角θ5的大小,具体的计算公式如下所示:(P6)计算左大腿与左小腿之间的夹角来判别作业状态下左腿的弯曲程度;根据步骤二预测得到臀部、左膝和左脚裸三点的坐标,然后利用反余弦函数求得此夹角θ6的大小,具体的计算公式如下所示:(P7)预先设定本步骤所提出的6个夹角的阈值,即设置颈部与上肢之间的夹角阈值为T1、右大臂与右小臂之间的夹角阈值为T2、左大臂与左小臂之间的夹角阈值为T3、上肢与大腿之间的夹角阈值为T4、右大腿与右小腿之间的夹角阈值为T5及左大腿与左小腿之间的夹角阈值为T6;然后将利用反余弦函数求得的夹角与对应夹角的阈值进行比较,如若对应夹角在其阈值范围内,则认为作业人员该操作姿态较规范,否则认为其不按规范操作。

2.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法,其特征在于:步骤P7中对于T1的设置:当T1∈(150°,180°]时,认定为平视操作;当T1∈(120°,150°]时,认定为俯视(低头)操作;当T1∈(90°,120°]时,认定为疲劳操作;头部下垂程度(T1)需根据所属作业要求进行合理设定。

3.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法,其特征在于:步骤P7中对于T2和T3的设置:当T2,3∈(120°,180°]时,认定为手臂轻度弯曲操作;当T2,3∈(60°,

120°]时,认定为手臂中度弯曲操作;当T2,3∈(0°,60°]时,认定为手臂重度弯曲操作;手臂弯曲程度(T2和T3)需根据所属作业要求进行合理设定。

4.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法,其特征在于:步骤P7中对于T4的设置:当T4∈(170°,180°]时,认定为直立操作;当T4∈(120°,170°]时,认定为轻度弯腰操作;当T4∈(60°,120°]时,认定为中度弯腰或坐立操作,是否为坐立操作将根据T5和T6的设置进一步判断;当T4∈(0°,60°]时,认定为在地面上所进行的复杂且短暂的操作或下蹲操作,是否为下蹲操作将根据T5和T6的设置进一步判断;腰部弯曲程度(T4)需根据所属作业要求进行合理设定。

5.如权利要求1所述的一种用于判别作业人员姿态规范程度的方法,其特征在于:步骤P7中T5和T6的设置:当T5,6∈(170°,180°]时,认定为直立操作;当T5,6∈(60°,120°]时,认定为坐立操作;当T5,6∈(0°,30°]时,认定为下蹲操作;否则认定其为不规范操作;腿部弯曲程度(T5和T6)需根据所属作业要求进行合理设定。