利索能及
我要发布
收藏
专利号: 2023105550914
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-26
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于因果时间关系模块的视频异常检测方法,其特征在于,包括以下步骤:S1:首先收集视频数据,将其划分为训练集和测试集,再将每个视频划分为一个个互不重叠、帧数相同的片段,将每个视频视为一个包,异常视频和正常视频分别被定义为正包和负包,将片段视为一个个示例;

S2:再分别将训练集和测试集视频示例的RGB图像和光流图像输入到膨胀卷积网络I3D中得到其视觉特征与运动特征,对二者进行拼接操作即可以得到该视频的原始特征;

S3:将S2中得到的原始特征输入到因果时间卷积模块中,利用当前示例和之前的示例特征来增强当前帧信息与历史帧信息之间的交互,进而获得视频的前后时间依赖关系,得到包含时间信息的增强特征;

S4:将S3中得到的增强特征输入到全连接层网络中,得到每个示例的异常得分,分数值越大意味着是异常片段的可能性越大;

S5:选择每个视频包中异常得分最大的k个示例其中k统一设置为4,利用分类损失、平滑损失和稀疏损失来训练S3、S4中的视频异常检测模型,得到一组最优的模型参数;

S6:测试阶段,将得到的每个示例的异常得分,与设定的阈值作比较,比阈值大则判定为异常,反之判定为正常;测试集标签为帧级的,将预测结果与真实标签比对得到视频异常检测的准确率;

所述步骤S2中,提取视频特征的步骤具体包括:

S2‑1:膨胀卷积网络I3D包含两个并行的3D卷积模块,将每个视频全部示例的RGB图像输入到I3D的其中一个分支,提取每个示例的视觉特征;

S2‑2:将视频示例的光流图像输入到I3D的另外一个3D卷积分支中,提取视频的运动特征;

S2‑3:拼接视觉特征和运动特征,得到视频的原始特征;

原始特征经过因果时间关系模块得到增强特征具体包括:

S3‑1:因果时间关系模块旨在通过时间注意力机制从历史信息和当前特征中聚合有用的信息,公式如下所示:其中,Xn,t表示此刻的特征,Xn,t‑Δt:t={Xn,t‑Δt,Xn,t‑Δt+1,...,Xn,t}表示前Δt个示例的特征,Δt表示此区间中示例的数量,通过点积操作来计算此刻示例Xn,t与前Δt个示例Xn,t‑Δt:t的语义相似性,再通过softmax归一化计算得到最终的特征相似性矩阵;

S3‑2:R表示相对位置,即{‑Δt,...,‑1,0},使用softmax归一化来计算最终的位置先验矩阵,距离当前距离越远,信息的衰减就越多,位置先验矩阵是恒定的常数,不随输入特征而改变;

S3‑3:将语义相似性矩阵和位置先验矩阵拼接起来,再与该示例的特征进行元素相乘,得到包含视频局部时间依赖关系的增强特征。

2.根据权利要求1所述的基于因果时间关系模块的视频异常检测方法,其特征在于,所述步骤S4中,将步骤S3得到的包含时间信息的增强特征输入到全连接网络中,包含三个全连接层和一层sigmoid,每个示例会得到一个大小介于0和1之间的异常得分,得分值越大表示模型认为该片段为异常片段的可能性越大。

3.根据权利要求1所述的基于因果时间关系模块的视频异常检测方法,其特征在于,所述步骤S5包括:S5‑1:步骤S4得到每个示例的异常得分,再从所有视频示例的异常得分中选出前k个,结合视频级标签利用分类损失Lc来训练模型;

S5‑2:提出了一个时间平滑损失Lsm,使得异常视频中的相邻片段具有类似的异常得分;

S5‑3:用稀疏损失Lsp来约束异常视频的异常得分以及异常片段的数量;

S5‑4:将分类损失、平滑损失和稀疏损失相加得到模型的全局损失函数L=Lc+Lsm+Lsp,指导训练此视频异常检测模型,得到最优的模型参数。