1.一种道路监控视频异常行为检测系统,其特征在于,包括:输入模块、特征提取模块、检测场景矫正模块、地面深度融合模块、3D检测器;
所述输入模块,采集道路监控视频,输入道路监控图像;
所述特征提取模块,提取道路监控图像的特征图;
所述检测场景矫正模块,包括相机姿态检测模块和地面深度构建模块;所述相机姿态检测模块通过特征图估计相机姿态变化,利用相机姿态变化计算得到姿态变化矩阵;所述地面深度构建模块对姿态变化矩阵重建得到地面深度图;
所述地面深度融合模块,将特征图和地面深度图融合得到融合深度特征图,包括:将特征图输入到地面深度融合模块的地面接触点检测网络中,得到地面接触点;将地面接触点投影到地面深度图中,将地面深度图离散化为深度区间,计算深度区间的融合权重,将深度区间以及融合权重叠加得到深度序列;将特征图输入到自注意力机制的编码器中计算得到序列化特征;将序列化特征、深度序列输入到自注意力机制的解码器中输出融合深度特征图;
所述3D检测器,对融合深度特征图进行检测,得到检测结果。
2.根据权利要求1所述的一种道路监控视频异常行为检测系统,其特征在于,所述相机姿态检测模块通过特征图估计相机姿态变化,利用相机姿态变化计算得到姿态变化矩阵,包括:输入特征图到相机姿态检测模块的姿态检测网络中检测得到地平线、消失点和原始特征图;
利用地平线计算得到相机翻滚角,通过相机翻滚角计算得到翻滚角变换矩阵;利用消失点计算得到相机俯仰角,通过相机俯仰角计算得到俯仰角变换矩阵;通过翻滚角变换矩阵和俯仰角变换矩阵得到局部变换矩阵;
预训练视觉提示特征,将视觉提示特征和原始特征图拼接后进行车道线检测,利用局部变换矩阵对车道线检测结果进行矫正,得到矫正后的车道线;
设定初始位置图像,将矫正后的车道线与初始位置图像进行车道线匹配,通过匹配后的车道线计算相机的水平位移得到相机偏航角,通过相机偏航角计算得到偏航角变换矩阵;
通过局部变换矩阵和偏航角变换矩阵得到姿态变化矩阵。
3.根据权利要求2所述的一种道路监控视频异常行为检测系统,其特征在于,所述设定初始位置图像,将矫正后的车道线与初始位置图像进行车道线匹配,包括:设定相机位置,确定车道线两个端点,设定车道线的两个端点分别位于相机两侧,通过计算车道线两个端点特征的相似度得分进行车道线匹配;
相似度得分的计算公式为:
其中,i、j均表示自然数, 表示初始位置图像中第i条车道线与道路监控图像中第j条车道线的相似度, 表示初始位置图像中第i条车道线上距离相机较近端点的特征,表示初始位置图像中第i条车道线上距离相机较远端点的特征, 表示道路监控图像中第j条车道线上距离相机较近端点的特征, 表示道路监控图像中第j条车道线上距离相机较远端点的特征。
4.根据权利要求3所述的一种道路监控视频异常行为检测系统,其特征在于,所述通过匹配后的车道线计算相机的水平位移的计算公式为:其中,d表示相机在水平方向上的位移,n表示车道线对数, 表示初始位置图像中第i条车道线的距离相机较近端点在初始位置图像的像素坐标系v轴上的像素坐标, 表示初始位置图像中第i条车道线的距离相机较远端点在初始位置图像的像素坐标系v轴上的像素坐标, 表示道路监控图像中对应的第i条车道线的距离相机较近端点在道路监控图像的像素坐标系v轴上的像素坐标, 表示道路监控图像中对应的第i条车道线的距离相机较远端点在道路监控图像的像素坐标系v轴上的像素坐标。
5.根据权利要求4所述的一种道路监控视频异常行为检测系统,其特征在于,所述地面深度构建模块对姿态变化矩阵重建得到地面深度图,包括:通过姿态变化矩阵将初始位置的相机坐标系转换为变换姿态后的相机坐标系;
获取初始位置图像地面深度图,建立三维坐标系,将初始位置图像地面深度图的像素点反向投影到三维坐标系中得到初始三维坐标点;
通过姿态变化矩阵将初始三维坐标点转换到变换姿态后的相机坐标系中得到姿态变化点;
将姿态变化点投影到道路监控图像上,得到当前相机姿态下道路监控图像中的像素坐标;
通过像素坐标计算深度值,通过深度值重建地面深度图。
6.根据权利要求1所述的一种道路监控视频异常行为检测系统,其特征在于,所述深度区间的融合权重的计算公式为:其中,λ表示深度区间的融合权重序列,λi表示深度区间的融合权重,p表示地面接触点总数,pi表示在深度区间范围内地面接触点的个数,i表示深度区间的序号,c表示离散化后深度区间的总个数。
7.一种道路监控视频异常行为检测方法,包括以下步骤:
构建基于权利要求1‑6任一所述的一种道路监控视频异常行为检测系统;
采集道路监控视频,输入道路监控图像;
通过特征提取模块提取道路监控图像的特征图;
相机姿态检测模块通过特征图估计相机姿态变化,利用相机姿态变化计算得到姿态变化矩阵,地面深度构建模块对姿态变化矩阵重建得到地面深度图;
地面深度融合模块将特征图和地面深度图融合得到融合深度特征图,包括:将特征图输入到地面深度融合模块的地面接触点检测网络中,得到地面接触点;将地面接触点投影到地面深度图中,将地面深度图离散化为深度区间,计算深度区间的融合权重,将深度区间以及融合权重叠加得到深度序列;将特征图输入到自注意力机制的编码器中计算得到序列化特征;将序列化特征、深度序列输入到自注意力机制的解码器中输出融合深度特征图;
通过3D检测器对融合深度特征图进行检测,得到检测结果。
8.一种计算机设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求7所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行如权利要求7中所述的方法。