1.一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于,包括:构建双流叉网架构模型,其中双流叉网架构模型包含外观叉网和动态叉网,所述外观叉网用来处理外观信息,使用带有信息重校正的重构任务来检测与场景不一致的对象,所述动态叉网用来处理运动信息,具有空间运动机制,识别异常的运动模式;所述动态叉网包含运动自编码器和运动辅助编码器 ,所述外观叉网包含外观自动编码器、信息重校正网络和外观辅助编码器 ;
计算双流叉网架构模型的总损失函数;
将待测试视频输入双流叉网架构模型中,得到视频异常分数;
所述外观叉网和动态叉网中每个编码器和解码器由三个Resnet块构成,每个辅助编码器由五个Resnet块构成;每个Resnet块Resnet块中的ReLU层替换为LeakyReLU层;在解码器中的Resnet块中使用像素洗牌层替换下采样层;
所述动态叉网使用U‑net架构和2D CNN作为主干;所述运动自编码器包含运动编码器和运动解码器 ;
为连续的视频帧,其中第一个视频帧为 ,最后一个视频帧为 ;将 中除之外的视频帧堆叠输入运动编码器 后得到运动表示 ,将 和 之间的RGB差分作为目标;运动编码器 和运动解码器 之间存在跳跃连接,将运动表示 和跳跃连接提供的所有级别的特征输入运动解码器 预测出RGB差 ,计算 与 之间的均方损失和梯度损失,得到运动自编码器的动态流损失函数,如下所示:;
其中, 表示动态流损耗函数, 表示视频帧沿空间x轴和y轴的图像梯度。
2.根据权利要求1所述的一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于:所述外观自动编码器中包含外观编码器 和外观解码器 ;将视频帧 输入到外观编码器 转换为外观表示 ,使用外观解码器 将外观表示 生成重构结果 ;通过最小化 和 之间的重构误差来训练所属外观自动编码器,重构误差通过外观自动编码器的损耗函数表示,计算公式如下所示:;
其中 为外观自动编码器损耗函数。
3.根据权利要求2所述的一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于,所述信息重校正网络提取出外观编码器 的映射特征和外观解码器 中的映射特征,并缩小两者之间的差异,抑制信息丢失;外观编码器 的映射特征为外观编码器第一和第二个Resnet块的输出 和 ,外观解码器 中的映射特征为外观解码器 的第一和第二个Resnet块的输出 和 ;特征映射之间的差异通过校正损失函数表示,计算公式如下所示:;
其中 和 表示可调超参数, 为校正损失函数。
4.根据权利要求3所述的一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于:所述运动辅助编码器 用于突出RGB差异的运动目标信息;将运动表示 输入运动辅助编码器 得到运动目标分数 ;
所述外观辅助编码器 通过使外观特征持续稀疏来细化重构结果;将外观编码器的输出 输入至外观辅助编码器 中,得到外观目标分数 ;
运动辅助编码器 的目标函数定义为运动特征分布 以及对应的外观叉网中的外观特征分布 以之间的KL散度:
;
其中 表示运动辅助编码器 的损失函数, 表示KL散度;
外观辅助编码器 的目标函数表示为外观特征分布和动态叉网的运动特征分布之间的KL散度:;
其中, 表示外观辅助编码器 的损失函数, 表示KL散度。
5.根据权利要求4所述的一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于,所述总损失函数表示为:;
其中, 表示总损失函数, 为可调超参数。
6.根据权利要求5所述的一种基于信息驱动的双流叉网架构视频异常检测方法,其特征在于,所述视频异常分数计算过程如下:将待测试视频输入至模型中,计算得到最后一个视频帧 的预测结果 ,其中,计算 与 之间的均方误差的倒数 ,计算公式如下:;
的数值越大,表示视频帧越正常;计算每个视频序列在所有空间位置的得分后,将损失归一化,得到每个视频帧在范围[0,1]内的分数,分数计算公式如下所示:;
其中 表示待测试视频, 表示视频异常分数, 表示待测试视频 中最大的损失数值, 表示待测试视频 中最小的损失数值。
7.一种电子设备,其包括存储器、处理器和存储在存储器中可供处理器运行的程序指令,其特征在于,所述处理器执行所述程序指令以实现权利要求1‑6任一项所述方法的步骤。