利索能及
我要发布
收藏
专利号: 2022106838394
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进yolov5s网络的行为检测方法,其特征在于,所述行为检测方法包括以下步骤:

S1,采集违规行为图像,生成行为数据集,对行为数据集进行标注;将标注好的行为数据集转换成文本格式,并划分成训练集和测试集;

S2,基于yolov5s网络构建行为识别模型,所述行为识别模型包括特征提取模块、特征融合模块和检测模块;所述特征提取模块包括依次连接的四个特征提取层,对导入的违规行为图像进行特征提取操作,依次得到第一特征图、第二特征图、第三特征图和第四特征图;所述特征融合模块对第四特征图依次进行三次上采样处理,在上采样过程中,三次上采样结果按照自下而上的顺序分别和第三特征图、第二特征图、第一特征图进行融合,分别得到第一融合特征图、第二融合特征图和第三融合特征图;第三融合特征图进行1*1且步长为

1的卷积,再采用Bottleneck模块对卷积结果进行处理后与第五特征图融合,融合结果依次通过BN层和卷积层,得到第一输出特征图,第一输出特征图结合FcaNet注意力机制,进入检测模块;所述第一输出特征图再依次进行三次下采样处理,在下采样过程中,三次下采样结果按照自上而下的顺序分别与第二融合特征图、第二次上采样之前的特征图和第一次上采样之前的特征图进行融合,分别得到第二输出特征图、第三输出特征图和第四输出特征图,结合FcaNet注意力机制,进入检测模块;所述检测模块结合第一输出特征图、第二输出特征图、第三输出特征图和第四输出特征图,识别得到违规行为类别和违规行为对象;

S3,采用训练集对行为识别模型进行训练,在训练完成后,采用测试集对训练完成的行为识别模型进行测试,计算mAP指标和Recall指标。

2.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,步骤S1中,违规行为图像包括抽烟图像和打电话图像。

3.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,步骤S2中,所述特征提取模块包括第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层;

所述第一特征提取层包括依次连接的两个卷积层和一个C3模块;所述第二特征提取层、第三特征提取层和第四特征提取层分别包括相互连接的一个卷积层和一个C3模块。

4.根据权利要求3所述的基于改进yolov5s网络的行为检测方法,其特征在于,步骤S2中,所述特征提取模块采用的卷积层的激活函数为MetaAconC函数。

5.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,所述特征融合模块包括依次连接的第一卷积层、第一上采样层、第一融合层、第一C3层、第二卷积层、第二上采样层、第二融合层、第二C3层、第三卷积层、第三上采样层、第三融合层、第三C3层、第四卷积层、第四融合层、第四C3层、第五卷积层、第五融合层、第五C3层、第六卷积层、第六融合层和第六C3层;

所述第一卷积层的输出端与第六融合层的输入端连接;所述第二卷积层的输出端与第五融合层的输入端连接;第三卷积层的输出端与第四融合层的输入端连接。

6.根据权利要求5所述的基于改进yolov5s网络的行为检测方法,其特征在于,所述第二C3层和第三C3层采用改进的C3模块,用于对输入的原始特征图进行1*1且步长为1的卷积,再采用Bottleneck模块对卷积结果进行处理后与原始特征图融合,融合结果依次通过BN层和卷积层,输出相应的特征图。

7.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,所述行为识别模型的四个输出通道上一一对应地添加有Fcanet注意力模块,Fcanet注意力模块采用多光谱通道注意力机制。

8.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,步骤S3中,计算mAP指标和Recall指标的过程包括以下步骤:在模型训练完成后,保存生成的权重文件,采用生成的权重文件进行测试,生成对应的CSV格式文件,从CSV格式文件中提取得到mAP指标和Recall指标。

9.根据权利要求1所述的基于改进yolov5s网络的行为检测方法,其特征在于,所述行为识别模型的损失函数为:式中, 代表分类损失, 代表矩形框损失, 代表置信度损失;矩形

框损失采用CIOU_Loss函数计算得到,分类损失和置信度损失采用BCEWithlogitsloss函数计算得到。