利索能及
我要发布
收藏
专利号: 2022113179264
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于场景分类的视频异常检测方法,其特征在于,包含以下步骤:步骤S1、对原视频帧进行灰度化处理,并选择中值滤波器进行平滑,使用背景减除法和帧差法来提取前景目标,并通过Double‑Canny算法提取像素特征;

步骤S2、使用预训练模型检测视频帧中的人数并生成视频帧的热力图;

步骤S3、使用K‑means聚类算法对视频帧进行场景分类,将视频帧分为密集场景和稀疏场景两类;

步骤S4、使用异常检测模块,分别对密集场景和稀疏场景进行异常检测,其中异常检测模块为基于GAN的双分支网络结构。

2.根据权利要求1所述的一种基于场景分类的视频异常检测方法,其特征在于,所述步骤S1中具体包含:步骤S1.1、对前景帧和原始图像都使用Canny算子边缘检测,获得前景图像和整体边缘图像;

步骤S1.2、对所述步骤S1.1中的整体边缘图像和前景图像进行逐像素“和”操作,去除无关边缘并捕获前景中缺失的信息,获得处理后的前景图像;

步骤S1.3、对所述步骤S1.1中的前景图像和所述步骤S1.2中的处理后的前景图像逐像素执行“或”操作,获得最终前景图像;

步骤S1.4、计算所述步骤S1.3中的最终前景图像的二值图像中的像素数,获得前景像素数Nf;对最终前景图像执行Canny算子边缘检测以获得最终边缘像素图像,并计算获得边缘像素数Ne;计算边缘像素数与前景像素数的比值 r表示人群遮挡程度。

3.根据权利要求2所述的一种基于场景分类的视频异常检测方法,其特征在于,所述步骤S2中所述预训练模型中使用YoloV4检测人数;通过预训练模型生成图像的热力图,计算热力图高亮部分的比例pi,pi表示人群聚集的程度。

4.根据权利要求3所述的一种基于场景分类的视频异常检测方法,其特征在于,所述步骤S3中使用所述步骤S1获取到的3个像素特征和所述步骤S2中获取到的人数、热力图中高亮比例作为特征向量 其中χi是第i帧的特征向量,Numi是第i帧的人数, 和 分别是第i帧的边缘像素数和前景像素数,ri是 和 的比值,pi表示第i帧热力图中高亮部分的比例;特征向量作为输入值,通过K‑means聚类算法将视频中的场景自动聚类为稀疏和密集两类。

5.根据权利要求4所述的一种基于场景分类的视频异常检测方法,其特征在于,所述步骤S4中所述异常检测模块在稀疏场景中,采用预测模型,并使用U‑Net作为生成器来预测下一帧;在密集场景中应用重构模型,生成器是用于重建视频帧的无跳跃连接的自编码器。

6.根据权利要求5所述的一种基于场景分类的视频异常检测方法,其特征在于,在所述异常检测模块中引入强度损失、梯度损失和光流损失作为约束;强度损失Lint通过比较预测帧和原始帧之间每个像素的值,如式(1)所示:其中,表示预测帧,I表示原始帧;

梯度损失Lgd通过比较预测帧和原始帧的像素值的梯度获得,如式(2)所示:其中, 表示预测帧的空间索引,Ii,j表示原始帧的空间索引;

光流损失Lop的计算如式(3)所示:

其中,表示预测的第t帧,It表示原始的第t+1帧,表示光流。

7.根据权利要求6所述的一种基于场景分类的视频异常检测方法,其特征在于,在所述稀疏场景中的预测模型使用LSGAN预测下一帧,并使用生成器Gp和图像欺骗鉴别器Dp;定义Dp的对抗损失 如式(4)所示,训练Gp时,固定Dp的权重,定义Gp的对抗损失 如式(5)所示:其中,表示预测帧,I表示原始帧;

结合强度损失、梯度损失、光流损失,得到Gp的目标函数 如式(6)所示,Dp的目标函数如式(7)所示:其中,λint表示强度损失的权重系数,λgd表示梯度损失的权重系数,λop表示光流损失的权重系数,λadv表示对抗训练损失的权重系数。

8.根据权利要求7所述的一种基于场景分类的视频异常检测方法,其特征在于,在所述密集场景中,重构模型的生成器Gr使用的重构网络的损失函数 如式(8)所示;重构模型的鉴别器为Dr,其对抗性训练的损失函数 如式(9)所示:结合强度损失、梯度损失、光流损失,得到重构模型的目标函数 如式(10)所示:其中,λint表示强度损失的权重系数,λgd表示梯度损失的权重系数,λop表示光流损失的权重系数,λadv表示对抗训练损失的权重系数。

9.一种基于场景分类的视频异常检测系统,其特征在于,包含:

预处理单元,对原视频帧进行灰度化处理,并选择中值滤波器进行平滑,使用背景减除法和帧差法来提取前景目标,并通过Double‑Canny算法提取像素特征;

人数检测单元,使用预训练模型检测视频帧中的人数并生成视频帧的热力图;

场景分类单元,使用K‑means聚类算法对视频帧进行场景分类,将视频帧分为密集场景和稀疏场景两类;

异常检测单元,使用异常检测模块,分别对密集场景和稀疏场景进行异常检测,其中所述异常检测模块为基于GAN的双分支网络结构。

10.一种电子设备,其包括存储器、处理器和存储在存储器中可供处理器运行的程序指令,其特征在于,所述处理器执行所述程序指令以实现权利要求1‑8任一项所述方法的步骤。