1.一种多摄像头的室内行人异常轨迹预警方法,其特征在于,包括以下步骤:
(1)获取各个摄像头的画面,对待检测视频进行目标标注,得到行人目标跟踪数据集,并将视频传输至云端;
(2)以不同角度摄像头监控的画面为平面建立两级坐标系,联合定位目标位置并记录;
(3)构建包括GOLO模型和Social‑DWTimesNet模型的轨迹预测模型S‑GOLO;所述GOLO模型为YOLOv5和GRU的组合模型;所述Social‑DWTimesNet模型在TimesNet模型的基础上将Inception结构替换为了两层带有膨胀因子的卷积结构,加入权重标准化,并引入Social结构;
(4)将行人目标跟踪数据集送入GOLO模型,进行预训练,其输出为行人在视频帧中的目标检测框和行人的轨迹跟踪结果;对两级坐标系中的行人历史轨迹进行跟踪,将跟踪结果统一输入到轨迹预测模型S‑GOLO中,实现行人轨迹的初步预测;
(5)使用PBT算法优化Social‑DWTimesNet模型的核心参数,得到优化后的轨迹预测模型;所述PBT算法融合了并行搜索和序列优化;
(6)通过优化后的轨迹预测模型得到行人定位和轨迹预测的结果,并将结果存储到数据库中,判断即将进入非法区域的行人轨迹并进行预警;
步骤(3)所述的Social结构将相邻序列对应的DWTimesNet模型连接起来,并引入社交池化层,空间近端序列的DWTimesNet之间互相共享隐藏状态;在一个场景中,对每个行人都有一个独立的DWTimesNet进行轨迹预测,各个DWTimesNet之间通过社交池化层相互连接,使得空间相近的行人之间能够共享彼此的运动模式;在一定半径内的所有DWTimesNet的隐藏状态集中到一起,用作下一个时间步长的输入;社交池化层将数量不等的行人的运动状态聚合为一个统一大小的张量;以被观察的行人当前位置为中心,按一定半径扩大范围寻找周围的行人,即相邻结点;对于所有的相邻结点,获取其当前时刻通过DWTimesNet后的隐藏状态,每个状态的维度为D;将查找的行人一定半径范围内的区域按网格划分,网格形状为N0×N0,N0表示该区域中纵向和横向上均含有N0个网格;将分布在同一网格中的相邻结点的隐状态聚合,即简单相加,最终得到一个大小为N0×N0×D的张量:其中, 表示在t时刻,第i个行人在位置(m,n)处的轨迹特征, 是第j个人在t‑1时刻对应的DWTimesNet的隐状态,Lmn[x,y]是一个二值函数,用于判断(x,y)是否位于网格的(m,n)单元中,Ni则表示第i个人对应的相邻集合, 和 分别表示行人j在t时刻的x和y坐标,和 分别代表行人i在t时刻的x和y坐标。
2.根据权利要求1所述的一种多摄像头的室内行人异常轨迹预警方法,其特征在于,所述步骤(2)实现过程如下:将摄像头捕获到的画面合并起来,以视频画面所在平面建立垂直坐标系,并记录行人检测框中心点的坐标;获取头顶摄像头的画面,建立水平坐标系,记录俯视视角下的视频中行人相对于地面位置的坐标。
3.根据权利要求1所述的一种多摄像头的室内行人异常轨迹预警方法,其特征在于,步骤(3)所述膨胀因子用于增大卷积核的感受野,提取更多的特征,具体实现过程如下:在原始特征中,膨胀卷积能够增大卷积核的映射范围,而计算量不会发生改变,膨胀卷积核的尺寸由如下公式计算得出:D_kernel=dilation×(kernel_size‑1)+1
其中,D_kernel表示膨胀卷积核的尺寸,dilation表示膨胀因子的大小,kernel_size代表原始卷积核尺寸;
使用了膨胀卷积后,原始特征的padding由下述公式计算得出:
其中,stride表示步长大小,N代表图像维度,kernel_size代表卷积核的尺寸,dilation则表示膨胀因子的大小;
使用的卷积为SAME模式,即卷积后输出的尺寸与输入尺寸大小一致;计算时,将卷积核的中心与输入的第一个点对齐,作为卷积核的起始位置,之后再补齐padding。
4.根据权利要求1所述的一种多摄像头的室内行人异常轨迹预警方法,其特征在于,步骤(3)所述权重标准化将神经网络权重w分解为向量方向 和向量的模g,按下式进行转换:其中,是与w同维度的向量,||v||是欧氏范数,v是单位向量,决定了w的方向,g是标量,决定了w的长度。
5.根据权利要求1所述的一种多摄像头的室内行人异常轨迹预警方法,其特征在于,步骤(5)所述所述PBT算法融合了并行搜索和序列优化实现过程如下:随机初始化多个待优化的Social‑DWTimesNet模型参数,训练时,每隔几个steps设置一个检查点;根据所有Social‑DWTimesNet模型的优劣调整每组Social‑DWTimesNet模型的参数。
6.根据权利要求1所述的一种多摄像头的室内行人异常轨迹预警方法,其特征在于,步骤(5)所述PBT算法优化Social‑DWTimesNet模型的核心参数实现过程如下:随机初始化一组Social‑DWTimesNet模型的参数,包括学习率、模型维度;通过这一组模型创建PBT算法的群体;
分别对群体中每组Social‑DWTimesNet模型进行训练和评估,使用轨迹预测数据进行训练,使用轨迹预测结果的评价指标来评估,用于衡量其在任务上的表现;
给每个Social‑DWTimesNet模型都引入一些噪声,更新模型参数;根据模型的性能进行选择性的参数交换,复制性能最好的一个Social‑DWTimesNet模型的参数,将其应用到群体的其他Social‑DWTimesNet模型中;多次迭代得到优化后的Social‑DWTimesNet模型。
7.一种装置设备,其特征在于,包括存储器和处理器,其中:
存储器,用于存储能够在处理器上运行的计算机程序;
处理器,用于在运行所述计算机程序时,执行如权利要求1至6任一项所述的多摄像头的室内行人异常轨迹预警方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被至少一个处理器执行时实现如权利要求1至6任一项所述的多摄像头的室内行人异常轨迹预警方法的步骤。