利索能及
我要发布
收藏
专利号: 2025105919025
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,包括:从监控视频中获取视频流并输入视频异常检测模型,将视频异常检测模型输出的异常分数与预先设定好的阈值进行比较,若异常分数大于阈值则判定输入视频为异常视频并产生警报,若异常分数小于等于阈值则判定输入视频为正常视频;

所述视频异常检测模型通过以下方式进行构建:构建基于对比学习的实例特征学习模块,用于根据异常训练集、正常训练集、以及对异常训练集和正常训练集进行特征投影后的视频特征,聚合正常视频中的实例,分离异常视频中的实例;

构建动态实例选择模块,用于根据正常视频中聚合的实例及异常视频中分离的实例的实例特征,识别出异常视频中特征大小从小到大排序的前若干个的实例特征,并计算异常分数;

构建实例特征域自适应模块,用于增强基于对比学习的实例特征学习模块中对异常视频中实例的分离的可分离性;实例特征域自适应模块,具体实现如下:异常信息被抑制后的视频特征 和 为:

然后,对 和 分别进行全局平均池化以得到各自代表正常实例的平均值:接着,将 和 输入带有梯度反转层GRL的判别器中:其中,为多层感知机网络;GRL在前向传播时充当恒等函数;在反向传播时,GRL通过乘以反转系数 来反转当前梯度, ,使得 的优化目标与任务判别器的优化目标相反;

最后,反转损失函数 定义为:

其中, 代表 或 ,当 代表 时, ;当 代表 时, 。

2.根据权利要求1所述的基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,在输入视频通过基于对比学习的实例特征学习模块之前,需对输入视频进行特征提取和特征投影。

3.根据权利要求2所述的基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,对输入视频进行特征提取和特征投影的具体实现方式如下:S1,特征提取:

收集具有视频级标签的一组异常视频和一组正常视频;

首先,将单个视频C划分成若干片段,每个片段由16个连续的帧组成,每个片段被称为一个实例,记为c;此时,单个视频被表示为 ,其中M为单个视频C所拥有的片段数, 表示第m个实例;

随后,使用I3D网络作为主干网络进行特征提取:将单个视频C中的每个实例进行10‑corp数据增强,所述10‑corp数据增强为:对每一个原始视频帧截取左上、右上、左下、右下、中间五种子图,将原图镜像翻转后再次截取左上、右上、左下、右下、中间五种子图;将增强后的视频输入到预训练的I3D网络中,得到视频特征 ,其中 表示经过特征提取后的第m个实例;

最后,对一组异常视频和一组正常视频进行特征提取后,形成异常训练集和正常训练集 , 表示第i个异常视频特征, 表示第i个正常视频特征;

S2,特征投影:

首先,用正常训练集 离线学习一个静态稀疏字典D,静态稀疏字典D由R个形状与实例相同的稀疏中心构成,表示为 , 表示第r个稀疏中心;稀疏字典的学习过程如下:其中, 为受稀疏性先验约束的系数向量, 为正则化系数;

然后,利用静态稀疏字典D和注意力机制对正常视频和异常视频进行特征投影;具体计算过程为:其中, 分别表示经线性函数得到的查询、键和值的特征, 为来自 或的输入特征,softmax表示激活函数; 是 在D上的投影,其特征维度与 相同。

4.根据权利要求3所述的基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,基于对比学习的实例特征学习模块,具体实现如下:给定输入模型的一对分别来自 和 的视频特征 和 ,分别经过特征投影获得和 ;将 、 、 和 输入多尺度时间网络MTN,以学习视频信息的长期与短期时空依赖,表示为:

其中, 表示MTN, 和 分别为经过多尺度时间网络MTN后的 、、 和 的嵌入特征;引入通道注意力,将 和 中的M个实例作为通道维度,将每个实例 对应的实例特征作为时空维度,计算 和 的通道权重的差值,并将其作为注意力权重:其中, 为 和 的注意力权重, 为全局平均池化层,E为全连接网络, 为Sigmoid函数;同理计算 和 的注意力权重 ;将 和 分别与 和 相乘,得到正常信息被抑制后的视频特征 和 为:其中,“·”表示矩阵乘法;

定义 和 中的实例分别为 和 ,即 ,

, 和 分别表示 和 中的第m个实例;设计一个实例特征对比损失函数,对于 ,使其中的各实例特征相互远离;对于 ,使其中的各实例特征相互靠近;在对比学习中,定义一个非线性投影头H,经过非线性投影头获得嵌入特征的过程如下:其中, 代表 和 ;

实例特征对比损失函数定义为:

其中, 为权重系数, 为自然指数函数, 为指示函数,表示当 时函数值为1,否则函数值为0。

5.根据权利要求4所述的基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,动态实例选择模块为动态实例选择的多实例学习MIL模块。

6.根据权利要求4所述的基于动态选择对比实例学习的弱监督视频异常检测方法,其特征在于,动态实例选择模块,具体实现如下:增大异常视频样本中前K大的实例特征大小增大,同时减小正常视频样本中前K大的实例特征大小减小;具体如下,首先,特征大小被定义为:

其中, 为 或 中的实例特征, 为特征向量的二范数计算符号;

然后,为选取视频样本中的前K大的实例特征,引入如下函数:其中, 代表来自 中特征大小前K大的实例特征,表示 中前K大的实例特征的平均特征大小;

为对异常视频样本中可能存在的正常实例特征进行学习,将计算当前小批次大小为I的小批次中所有正常视频样本中的实例特征的特征大小平均值 ,并在每轮训练中以作为阈值对异常视频样本中的实例特征进行动态筛选; 计算过程如下:然后,对小批次中的每一个异常视频样本有如下操作:定义一个空集合 ,对于中的每个 进行判断,若 ,则将其存入集合 中;

接着,选取异常视频样本中前 小的实例特征,提出如下函数:其中, 表示集合 中的元素个数,当 时, 代表来自中特征大小前 小的实例特征的集合, 表示 中前小的实例特征的平均特征大小;当 时, 代表来自中特征大小前 小的实例特征, 表示 中前 小的实例特征的平均特征大小;

接着,将特征大小损失函数定义为:

其中,b是预先定义的边界,为权重超参数,“*”是普通乘法;

最后,定义一个判别器Z,Z由多层感知机网络L和Sigmoid函数 组成,将 输入判别器得到第一异常分数 :同时,将 输入判别器得到第二异常分数 :将特征分类损失函数定义为:

其中,BCE为二元交叉熵损失函数。