利索能及
我要发布
收藏
专利号: 2022109026228
申请人: 深圳万知达科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,包括:步骤1、采集训练视频集,所述训练视频集包括正常视频和异常视频;

步骤2、将正常视频切分成含有 个互不重叠的视频片段的负包 ,将异常视频切分成含有 个互不重叠的视频片段的正包 ,每个片段包含 帧连续画面;

步骤3、采用I3D卷积网络分别提取正包 和负包 中每个视频片段的时空特征 和;并采用多尺度特征融合网络对正包 和负包 中的时空特征 、时空特征 分别进行特征融合,得到正包的多尺度特征 和负包的多尺度特征 ;具体包括:S301、采用 个一维卷积核分别对时空特征 、时空特征 进行卷积操作,一维卷积核的大小为,其表达式分别为:;

步骤302、采用 个一维卷积核分别对时空特征 、时空特征 再次进行卷积操作,一维卷积核的大小为 ,其表达式分别为:;

步骤303、步骤301卷积输出的特征和步骤302卷积输出的特征与时空特征融合得到多尺度特征,其表达式分别为:;

步骤4、采用多头自注意力机制分别在正包的多尺度特征 和负包的多尺度特征 中加入注意力获得加入注意力机制的多尺度特征 和 ;

步骤5、采用通道注意力机制分别对加入注意力机制的多尺度特征 和 进行降维、升维、sigmoid函数计算通道注意力权重以及给加入注意力机制的多尺度特征 和 每个通道赋予权重后得到加入多种注意力机制的多尺度特征 和 ;

步骤6、采用一个全连接层网络对加入多种注意力机制的多尺度特征 和 进行线性回归,并得到 和 中每个片段的异常分数包 和 ;

步骤7、根据异常分数包 和 构建目标损失函数对步骤4至步骤6的参数进行优化。

2.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,所述步骤4中采用多头自注意力机制分别在正包的多尺度特征 和负包的多尺度特征 中加入注意力获得加入注意力机制的多尺度特征 和 具体包括:步骤401、采用一个全连接层将多尺度特征 和 分别转化为共享矩阵 和;

步骤402、通过共享矩阵 和 分别生成 和 ,计算公式为:

式中, 、 、 为权重矩阵;

步骤403、根据多头自注意力的头的数量,将 和 分割成和 ;

步骤404、将 与 转置相乘,接着采用softmax函数得到自注意力图 ;再将自注意力图 与 转置相乘得到自注意力矩阵 ;然后进行归一化操作得到多个特征 ,;最后将多个特征 连接起来得到多尺度特征 ;

同理,将 和 转置相乘,接着采用softmax函数得到自注意力图 ;再将自注意力图 与 转置相乘得到自注意力矩阵 ;然后进行归一化操作得到多个特征 ,;最后将多个特征 连接起来得到多尺度特征 。

3.根据权利要求1所述的多尺度特征融合及多种注意力结合的弱监督异常检测方法,其特征在于,所述步骤7中构建目标损失函数为:;

式中, 为排序损失函数, 为平滑损失函数, 为改进的稀疏损失函数,其中:计算公式为:

式中, 表示为负包中第 个异常分数, 表示正包中第 个异常分数; 的计算公式为: ; 的计算公式为: ,式中,为平均分参考值, 为正包中异常分数的平均分。