利索能及
我要发布
收藏
专利号: 2024106342769
申请人: 闽江学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,包括:使用基于对比学习的视频特征聚类方法学习视频段特征;

提出多子簇记忆原型模块,利用正常视频相互间的细粒度特征差异学习记忆原型,并对视频特征进行重建;

提出一种高斯滤波特征变换方法,增强重建过程中正常特征和异常特征的可分离性;

该方法实现方式为:首先对输入的视频进行特征提取;然后,通过高斯滤波特征转换模块对输入的视频进行处理,将视频增强为一组成对的样本;接着,由基于对比学习的视频特征聚类方法学习视频特征并在高维向量空间对视频特征进行聚类;而后,由多子簇记忆原型模块学习视频特征分布并进行特征重建;最后,通过特征重建的重建误差进行异常判定;

所述由基于对比学习的视频特征聚类方法学习视频特征并在高维向量空间对视频特征进行聚类的具体实现方式为:首先,构建基于对比学习的视频特征聚类模块,其使用多尺度时间网络MTN作为对比学习的编码器;两个MTN分别定义为Sq和Sk,其中Sq的输入为 Sk的输入为 Sq输出称为判别特征,记为 Sk的输出称为原型特征,记为 和 表示为:接着,在Sq、Sk之后分别添加非线性投影头Gq(·)和Gk(·);经过非线性投影头获得判别嵌入 和原型嵌入 表示为:为提升对比学习的效果,定义一个数据样本队列Q;每个小批次得到的 都存入队列中,当队列装满时最先入队的元素被移出队列并丢弃,这使模型能够重用前几个批次中的样本;由于队列Q的大小允许比小批次大小大得多,使得对比学习能够拥有庞大的负样本;

而后进行聚类过程:

(1)子簇内聚合损失函数:为聚合属于相同子簇的样本,定义一个子簇聚合损失函数,具体表达如下:其中 表示若干批次中存储在队列中的 N表示小批次大小,NQ表示队列Q的长度,Tg为温度参数;

接着,定义一对结构相同的MLP网络Φq和Φk,将 和 映射到K维的分配权重 和其表示为:其中分配权重 和 代表其对应的判别特征 和原型特征 属于每个簇的权重;

q k

每个小批次的子簇权重向量描述为矩阵P和P:

其中,T为向量转置符号;

q k

然后,将矩阵P和P由行优先形式转化为列优先形式可得:

(2)子簇间分离损失函数:为减少子簇内的多样性,使子簇相互之间更好的分离,定义了一个子簇间分离损失函数;子簇间分离损失函数由分配权重损失和聚类正则化损失组成;子簇间分离损失函数表达为:其中qr(j)表示向量qr中下标为j的元素,β是权重参数;

多子簇视频特征聚类模块的聚类损失函数Lcluster由损失Lagg和损失Lsep共同组成,其中损失Lagg鼓励减少子簇内的多样性,而损失Lsep则鼓励增加子簇间的多样性;Lcluster定义为:Lcluster=Lagg+Lsep

(3)动量更新:在训练过程中Sq、Gq和Φq作为常规网络,通过反向传播进行参数更新,Sk、Gk和Φk作为动量网络,不通过反向传播进行参数更新,它们的参数更新公式为:q k

其中θ 代表Sq、Gq和Φq的网络参数,θ 代表Sk、Gk和Φk的网络参数,μ∈[0,1)为动量系数。

2.根据权利要求1所述的一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,所述输入的视频数据来源于基准视频数据集ShanghaiTech和UCF‑Crime;其中,ShanghaiTech是一个具有挑战性的多场景数据集,由13个校园场景组成,这些场景具有不同的照明条件和相机角度;ShanghaiTech共包含437个视频,其中训练视频238个,测试视频

199个;UCF‑Crime是一个大规模的异常检测数据集,由1900个从真实世界的街道和室内监控摄像机捕获的未经修剪的视频组成;UCF‑Crime包括1610个训练视频和290个测试视频。

3.根据权利要求1所述的一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,所述对输入的视频进行特征提取的方式为:对于每个输入的视频,首先将其分解为几个片段,每个片段由16个连续帧组成;然后,对每个视频片段vi∈视频V进行10‑corp数据增强,得到10个增强片段{vi0,vi1,...,vi9};随后,使用I3D网络作为主干网络进行特征提取,将增强片段输入到预训练的I3D网络中,得到片段特征{fi0,fi1,...,fi9};最后,将{fi0,fi1,...,fi9}随机平均分为2组,分别计算每组的5个特征的平均值,得到特征 和 每个视频片段都被构造为一组成对的视频片段特征。

4.根据权利要求3所述的一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,所述高斯滤波特征转换模块对视频片段特征 应用高斯滤波器,增强 和 之间的不相似性,具体实现如下:首先,为确保经过高斯滤波特征转换后的特征维度与转换前相同,对 进行反射填充操作;

然后,利用高斯核对特征进行高斯滤波卷积运算以获得 表示如下:

其中σ为高斯核的标准差;

接着,为方便表示,令 此时,来自同一个视频片段的 和 形成正样本对来自不同视频片段特征 和 增强后形成负样本对 其中i≠j。

5.根据权利要求1所述的一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,所述多子簇记忆原型模块具体如下:定义两个大小相同的队列Qs和Qp,分别用于存放视频片段的原型特征 和其对应的分配权重 训练时,每一轮中都会将当前小批次产生的 和 分别加入队列Qs和Qp,当队满时最先入队的元素被移出并丢弃;首先,局部多子簇记忆原型mlocal定义为:其中 为Softmax函数, 和 分别表示队列Qs和Qp中存放的第i个元素, 表示队列Qs和Qp的大小,二者大小一致;mlocal的本质是若干小批次原型特征 在特征空间中的子簇原型形成的矩阵,由于mlocal仅由全体正常样本中的一部分原型特征得到,故将其称之为局部多子簇记忆原型;

为得到全局多子簇记忆原型mglobal,定义一个全局多子簇记忆原型队列Qm,用于存放每个Step生成的mlocal,队列Qm的大小 定义为:其中|F|为训练样本总数,bs为小批次大小;然后,根据Qm来生成全局多子簇记忆原型mglobal:其中 表示当前队列Qm中下标为i的局部多子簇记忆原型;全局多子簇记忆原型mglobal内包含的K个子簇原型向量,对应正常视频特征中的K个子类的正常模式;训练时,每一轮小批次中都会将当前小批次生成的mlocal加入队列Qm,并计算生成该时刻的mglobal;当队满时,最先入队的元素被移出队列并丢弃;

然后,对判别特征 进行特征重建;重建特征 表示为:

其中 为Softmax函数;将 通过Softmax函数处理后得到一个长度为K的分配权重向量,其代表当前视频片段样本分属于K个子簇的权重;然后,根据分配权重向量和全局多子簇记忆原型mglobal重建出具有子簇细粒度信息的重建特征最后,通过优化特征重建损失函数Lrebuild使判别特征 在高维特征空间中靠近其对应的重建特征 特征重建损失函数Lrebuild定义为:

6.根据权利要求5所述的一种基于多子簇记忆原型的无监督视频异常检测方法,其特征在于,所述异常判定的具体方式为:使用样本的判别特征 和其重建特征 计算异常分数Score,异常分数Score定义为:当输入样本为正常样本时,重建特征 与判别特征 的相似度高,此时异常分数Score低;而当输入样本为异常时,由于重建特征 由代表正常稀疏表示的全局记忆原型重建而来,故此时重建特征 与判别特征 的相似度低,因此异常分数Score高;最终,通过异常分数Score区分正常和异常。

7.一种基于多子簇记忆原型的无监督视频异常检测系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑6任一所述的方法步骤。

8.一种计算机可读存储介质,其上存储有能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1‑6任一所述的方法步骤。