利索能及
我要发布
收藏
专利号: 2023105277594
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于自我引导编码器的弱监督视频异常检测方法,其特征在于,包括以下步骤:步骤1、对原始视频数据进行处理,对原始的未经处理的监控视频进行抽帧处理,每秒抽取16帧,并将其作为一个视频片段,每个视频根据视频时长,将被处理成数量不同的连续视频片段;

步骤2、将视频数据输入预训练的主干网络I3D网络中进行特征计算,并将其特征输入自我引导特征编码器进行训练,编码器的注意力分支和自我引导通道注意力分支将分别输出视频的帧级别异常得分;

步骤3、将自我引导分支的帧级别异常得分送入t分布因子分析模块进行拟合,得到帧级别的伪标签;

步骤4、使用再次伪标签监督训练自我引导特征编码器,在训练过程中不断更新伪标签,训练完成的编码器的注意力分支输出预测的帧级别异常得分;

步骤5、根据设定的异常阈值进行异常判断,异常得分大于阈值的判定为异常帧,反之为正常帧;

在步骤2中,构建自我引导通道注意力分支的步骤:自我引导通道注意力分支由空洞卷积模块、SE模块以及分类头 组成;

该分支仅以主干网络的倒数第二层输出的特征图 作为输入,与注意力分支共用编码单元 ,中间层特征 将被送入空洞卷积模块以获取不同尺度的时空特征,其输出特征将被输入SE模块,SE模块提取特征图的通道注意力特征,学习不同异常间的依赖关系,用以辅助异常特征图的学习;

其中,空洞卷积模块由两个卷积核和空洞率均不同的三维卷积层 和 并联构成,对其输出特征进行相加操作得到多尺度融合特征图 :。

2.根据权利要求1所述的一种基于自我引导编码器的弱监督视频异常检测方法,其特征在于,在步骤2中,构建注意力分支的步骤:注意力分支以主干网络I3D的倒数第二层输出的特征图 以及倒数第一层输出的特征图 作为输入特征,特征图 通过编码单元编码 得到中间层特征 ,该特征图再通过编码单元 生成注意力特征图 :然后采用注意力机制,将特征图 与注意力特征图 进行元素级相乘再加上 得到加权特征图 :

最后对特征图 进行全局平均池化操作并输入到异常分类头,分类头 将输出注意力分支计算得到的异常得分。

3.根据权利要求1所述的一种基于自我引导编码器的弱监督视频异常检测方法,其特征在于,在步骤1中,自我引导编码器的损失函数:自我引导编码器的损失函数为:

其中 和 分别为注意力机制分支和自我引导通道注意力分支的损失函数,具体地, 和 的具体形式为:

其中, ,

为超参数, 和 分别为注意力分支和自我引导通道分支预测的异常得分其中 ,为超参数, 和 分别为注意力分支和自我引导通道分支预测的异常得分,和 分别为加权交叉熵损失函数和top‑k排名损失;

具体地,加权交叉熵损失函数的计算方式为:

具体地,通过下述方式计算top‑k排

名损失:

其中,参数 表示每个视频中选择的视频片段的个数,为该视频大小为 的子集。

4.根据权利要求3所述的一种基于自我引导编码器的弱监督视频异常检测方法,其特征在于,在步骤3中,t分布因子分析模块通过下述公式生成伪标签:其中, , , 为第k个高斯分量的均值、因子和对角协方差矩阵,k为变量,取值范围为1‑7, 为每个高斯分量的系数, 为自由度,这些参数可以使用期望最大化算法求解。

5.一种基于权利要求1所述的自我引导编码器的弱监督视频异常检测方法的装置,其特征在于,包括:视频数据处理模块,用于对未经处理的视频数据进行抽帧,并将视频数据处理成连续的视频片段;

注意力特征模块,使得网络在学习特定异常表征的同时自动聚焦于网络最异常的部分;

自我引导通道注意力模块,使用不同空洞率的空洞卷积和SE模块,获取不同异常间的依赖关系,用以辅助异常特征图的学习;

t分布因子分析模块,通过学习自我引导特征模块输出的异常得分,利用学到均值、因子和对角协方差矩阵参数,生成可靠的伪标签监督训练自我引导编码器。