利索能及
我要发布
收藏
专利号: 2020102109574
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于显著性特征提取的视频行为识别方法,其特征在于,包括:S1,获取待识别视频,并将所述待识别视频转化为图像;

S2,对图像进行显著性特征提取,去除图像中的背景信息;

S3,对图像进行行为识别;

S4,输出识别出的异常行为。

2.根据权利要求1所述的基于显著性特征提取的视频行为识别方法,其特征在于,步骤S2包括:S21,将图像输入Res2Net主干网络,图像经过Res2Net主干网络中的每一层时,图像特征将被分为显著性特征、边沿特征,最终Res2Net主干网络输出显著性特征S0和边沿特征E0;

S22,显著性特征S0和边沿特征E0在CRU单元中作为监督信号交替训练,生成显著性特征S、边沿特征E;

S23,在非对称交叉模块中,显著性特征S与显著性标签Label-S做损失,边缘特征E与边沿标签Label-E做损失,同时从显著性特征S提取边沿特征e,并将边沿特征e与显著性标签的边沿做损失。

3.根据权利要求2所述的基于显著性特征提取的视频行为识别方法,其特征在于,步骤

21包括:

浅层图像特征首先经过1×1的卷积核,然后经过将具有n个通道的特征图分为4组的卷积核组,前一组的输出特征与另一组输入特征映射一起发送到下一组3×3的卷积核,此过程重复两次,直到处理完所有输入特征映射。最后,将来自4组的特征映射连接起来,经过1×1的卷积核将信息融合在一起,得到多尺度特征。

4.根据权利要求2所述的基于显著性特征提取的视频行为识别方法,其特征在于,所述CRU单元为首尾相连堆叠的4个CRU结构单元,在步骤S22中所述CRU单元的叠加操作的公式定义为:其中,

其中 表示Res2Net第i层的特征经过n个CRU结构单元之后的生成边沿特征, 表示Res2Net中第i层的特征经过n个CRU结构单元之后的生成显著性特征, 表示点乘。

5.根据权利要求2所述的基于显著性特征提取的视频行为识别方法,其特征在于,步骤S23的实现如公式为:Gx(x,y)=f(x,y)*gx(x,y)  (5)Gy(x,y)=f(x,y)*gy(x,y)  (6)G=F(Gx(x,y),Gy(x,y))  (7)

式(7)中函数F考虑了垂直方向的边沿特征和水平方向的边沿特征,根据式(8)或者(9)融合水平方向和垂直方向这两部分的特征;

F(Gx(x,y),Gy(x,y))=Gx(x,y)+Gy(x,y)  (9)在二值图像经过公式(7)之后可以得到边缘特征图;损失函数使用的是二进制交叉熵损失,所述二进制交叉熵损失为:其中p(xi)为真值,q(xi)为估计值。

6.根据权利要求1所述的基于显著性特征提取的视频行为识别方法,其特征在于,步骤S3包括:采用基于C3D网络结构的行为识别算法对图像进行行为识别;C3D网络结构的网络框架由R(2+1)D卷积模块组成的8个卷积层,5个最大池化层以及2个全连接层,在网络结构中可以添加ReLu、BatchNormal、Droupout技术优化网络结构;

模型使用随机梯度下降法,初始学习率为0.003;总共迭代100次,学习速率每迭代20次乘以0.1使模型收敛;两个全连接层有4096个输出,最后由softmax分类层实现分类。