利索能及
我要发布
收藏
专利号: 2023107659377
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,包括以下步骤:步骤1:采集实际应用场景下的监狱人员图像作为样本数据集,并对样本中监狱人员图像中的每一个人员位置进行标注,标注的信息包括人员真实框的具体坐标、人员的身份类别、人员的人体骨骼关键点;

步骤2:建立监狱人员异常行为检测模型,所述的监狱人员异常行为检测模型由人员身份检测模块、人体关键点提取模块和违规行为识别模块构成;

步骤3:利用步骤1采集到的样本数据集对监狱人员异常行为检测模型进行训练,具体为:步骤3.1:将标注后的监狱人员图像作为人员身份检测模块的输入,获取图像中的所有人员的检测框位置和身份类别,然后根据检测框位置截取图像感兴趣区域并作为人体关键点提取模块的输入,预测输出人体骨骼关键点位置;

步骤3.2:将监狱人员图像中标注的人员真实框和人体骨骼关键点作为标签,分别得到人员身份检测模块的目标检测损失、以及人体关键点提取模块的关键点检测损失;将目标检测损失和关键点检测损失作为总损失,完成监狱人员异常行为检测模型的训练;

步骤4:实时获取监控图像,将实时图像作为训练好的监狱人员异常行为检测模型输入,得到图像中目标人员身份类别、检测框位置以及对应的人体骨骼关键点位置;

步骤5:根据检测的人体骨骼关键点位置以及预定义的异常行为规则,计算不同关键点之间的角度,由违规行为识别模块判定图像中是否存在预定义的异常行为。

2.根据权利要求1所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的步骤5中,预定义规则中的异常行为类型包括打架、异常攀高和异常下蹲,所述的违规行为识别模块通过计算步骤4中输出的检测框位置、以及对应的人体骨骼关键点中与异常行为预定义规则中相关的关键点角度来判断是否存在异常行为。

3.根据权利要求1所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的人员身份检测模块采用改进的FCOS模型,引入软标签最优传输分配策略优化训练策略。

4.根据权利要求1所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的改进的FCOS模型包括骨干网络模块、特征金字塔模块、预测模块;所述的特征金字塔模块采用含有协调注意力强化模块的融合位置注意力双向特征网络模块;由骨干网络模块输出的各层特征图通过特征金字塔模块提取深层次特征,再由预测模块预测图像中的所有人员的检测框位置和身份类别。

5.根据权利要求4所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的融合位置注意力双向特征网络模块由自上而下的融合网络、自下而上的融合网络、协调注意力强化模块构成,具体为:将骨干网络模块中第i,3≤i<m层Ci的输出通道数调整为256,作为融合位置注意力双向特征网络模块的输入,计算自上而下的融合网络的第i,3≤i≤m‑1层Pi,表示为:Pi=UnSampling(Pi+1)+Ci,3≤i<m‑1Pm‑1=UnSampling(Cm)+Cm‑1

计算自下而上的融合网络的第i,3≤i≤m层P’i,表示为:P’i=DownSampling(P’i‑1)+Ci+Pi,4≤i≤m‑1P’3=C3+P3

P’m=DownSampling(P’m‑1)+Cm

将自上而下的融合网络、自下而上的融合网络各层的输出在通道维度上进行拼接,得到输入特征图,作为协调注意力强化模块的输入,表示为:input

P =Ci+Pi,3≤i≤m

input

式中,P 表示各层的输入特征图。

6.根据权利要求5所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的协调注意力强化模块,具体为:

1)将输入特征图使用2D自适应平均池化空间对每个通道的水平坐标和垂直坐标进行解码,通过对两个空间方向上的特征聚集,生成方向感知特征图X与Y来捕获空间方向与通道信息的远程依赖,计算公式如下:input

式中,c为通道序号,m和n为该通道坐标,Pc 表示输入特征图的第c通道,Xc表示水平坐标解码下的不同通道的权重,Yc表示垂直坐标解码下的不同通道的权重,W表示特征图的宽度,H表示特征图的高度;对全部通道进行计算,生成方向感知特征图X与Y;

2)对X和Y缩放归一化操作,得到中间特征图Z,计算公式如下:Z=F(X,Y)=δ(fBN(fratio(fcat(X,Y.P))))式中,Y.P为对Y进行维度转换,fcat为concat连接操作,fratio为根据缩放参数R使用1×1的卷积减低通道数以减少计算量,fBN为使用批归一化,δ为hard‑swish激活函数;

3)将中间特征图Z分割成X′和Y′,分别计算空间解码权重图,计算公式如下:X″=Fh(X′)=σ(fh(X′))

Y″=Fw(Y′)=σ(fw(Y′.P))

式中,Y′.P为对Y′进行维度转换,fh和fw为1×1卷积恢复缩放的通道数操作,σ为sigmoid函数,Fh(.)表示对垂直解码的恢复再加权操作,Fw(.)表示对水平解码的恢复再加权操作,X″和Y″为水平方向上和垂直方向上的空间解码权重图;

4)将两个空间解码权重图按照通道合并,得到最终的权重分配,计算公式如下:式中, 表示输出结果图的第c通道。

7.根据权利要求3所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的软标签最优传输分配策略,具体为:

1)使用预测的样本边界框与地面真实框的IoU值来粗略估计每个地面真实框的适当正锚点数量,选择前q个预测样本与之匹配,通过将这些IoU值相加,得到该地面真实框所需的正样本数量的估计值k;

2)计算分类代价和回归代价,计算公式为:

2

Ccls=(α‑Pcls) ×CE(Pcls,α)

式中,Creg表示分配成本中的回归成本,Ccls表示分配成本中的分类成本,α表示软标签阈值,即预测样本与地面真实框的交并比IoU,Pcls表示通过网络模型预测得到的样本分类分数,CE表示交叉熵损失函数;

3)引入动态空间加权成本代替人工中心先验选择,所述的动态空间中心加权成本计算公式为:式中,W和H分别表示对应地面真实框边界框的宽和高,f(x,y)表示将锚点坐标(x,y)映射到空间上的函数,将映射结果作为锚点的动态空间中心加权成本CSpatia;||.||1表示范数;

4)根据估计的对应锚点的正样本数量k,取所有落在地面真实框中的锚点分配代价前k低的锚点作为正样本,所述的分配代价计算公式为:CAC=(1+γCSpatital)×(Creg+Ccls)式中,CAC表示分配成本,γ表示超参数。

8.根据权利要求1所述的基于目标和关键点检测的监狱人员异常行为识别方法,其特征在于,所述的人体关键点提取模块采用HRNet模型。