利索能及
我要发布
收藏
专利号: 2020113387446
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积神经网络的翻越行为识别方法,其特征在于,包括:S1、对视频数据进行处理:筛选和剪切,筛选出有翻越栏杆的行为及在栏杆附近其他行为的视频,并将视频剪切为视频帧的图片;

S2、通过Yolo目标检测网络对步骤S1得到的视频帧进行检测;具体的:Yolo目标检测网络至少包括三个部分:Backbone部分、Neck部分、Head部分;通过Backbone部分聚合并形成图像特征,通过Neck部分组合并传递图像特征到预测层,通过Head部分对图像特征进行预测,生成边界框并预测类别;

S3、将边界框、预测类别为人、当前视频帧传递到GOTURN网络中进行目标跟踪,从当前帧向GOTURN网络输入边界框坐标,从前一帧向GOTURN网络输入目标,GOTURN网络学习比较这些目标,以找到当前图像中的目标对象,并逐帧绘制轨迹点,连成轨迹线;

S4、通过轨迹点集合与栏杆位置的相对位置关系,使用先验知识判定是否为翻越栏杆的行为。

2.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述步骤S1包括以下子步骤:

S11、查找并下载若干包含各种人物动作的视频数据集;

S12、从视频数据集中筛选出包含有翻越栏杆的行为的人物视频,以及其他与人物形态类似的物体视频;

S13、剪切筛选出的视频,把每一个视频按照25fps连续剪切为视频帧,得到一系列连续的视频帧并保存。

3.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述通过Backbone部分聚合并形成图像特征,具体为:将输入视频帧通过CSPResNext50神经网络聚合并形成图像特征,以实现图像特征提取。

4.根据权利要求3所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述通过Neck部分组合并传递图像特征到预测层,具体为:将图像特征通过SPP‑block和PANet组合并传递图像特征到预测层。

5.根据权利要求4所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述预测类别至少包括预测类别为人。

6.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述步骤S3包括以下分步骤:

S31、将步骤S24生成的边界框、预测类别为person、当前视频帧传递到GOTURN网络中;

S32、将当前视频帧和边界框进行裁剪得到带目标的中心区域,将前一帧视频进行裁剪得到带目标的搜索区域;

S33、将S32得到的上一帧目标和当前帧的搜索区域同时经过CNN的卷积层,然后将卷积层的输出通过全连接层,用于回归当前帧目标的边界框位置,并绘制当前帧坐标框中心点作为轨迹点,以备后续进行轨迹分析;

S34、重复步骤S31‑S32,直到视频帧全部进入GOTURN网络中。

7.根据权利要求6所述的一种基于卷积神经网络的翻越行为识别方法,其特征在于,所述步骤S4包括以下分步骤:

S41、记录步骤S33生成的轨迹点,并生成轨迹点集合;

S42、手动标记栏杆线的位置坐标,以备后续进行轨迹分析;

S43、通过轨迹点集合与栏杆位置的相对位置关系,使用先验知识判定是否为翻越行为,若是则输出标签为crossing,若不是则不输出。