1.一种基于深度时空记忆与交互网络的交通事件检测方法,其特征在于,构建包括时空信息感知网络和时序特征学习网络结合的检测模型,以视频帧作为输入,实现对交通事故的定位以及发生起始时间预测,包括如下步骤:步骤1、构建时空信息感知网络,以视频帧作为输入,通过在空间维度引入空间域全连接层MarphFCs挖掘空间语义信息,并在时间通道上引入时间域全连接层MorphFCt捕获输入的视频特征随时间变化的关系,并将时间维度的特征重新映射到空间维度,从而提取视频帧中空间信息和时间信息特征;
步骤2、构建时序特征学习网络,强化视频帧中时间信息特征的学习能力,对视频帧中时间信息进行全面建模;
步骤3、通过加权交叉熵损失来训练检测模型。
2.根据权利要求1所述的一种基于深度时空记忆与交互网络的交通事件检测方法,其特征在于,步骤1具体为:在MFCMLP模块中引入空间域全连接层MarphFCs,来分层扩展FC的接收域,并使其从小区域运行到大区域;所引用的空间域全连接层MarphFCs在水平和垂直HW×C路径中独立处理每一帧视频;以水平路径为例,给定一个输入视频帧X∈R ,它被投影到一个token序列中,首先沿着水平方向对X进行分割,将块长度设置为L,从而得到L×CXi∈R (1)其中,i∈{1,…,HW/L},为降低计算成本,沿着通道维度将每个Xi划分为多k LD个组,其中每个组都有D个通道,得到分割块,每个块为Xi∈R (2)LD×LD
其中,k∈{1,…,C/D},将每个数据块扁平化为1D向量,并应用FC权重矩阵W∈R 每个数据块进行转,即Y为k H×W×C
经过特征变换后,将所有块Yi重塑为原始维度Y∈R ,垂直方向同理,只是将标记序列沿垂直方向分割开来;应用FC层来单独处理每个标记使各组之间沿着通道维度进行通信;最后,将横向、纵向和信道特征按元素求和,得到输出结果;随着网络的深入,块长度L会分层增加,从而使FC过滤器从小到大的空间区域逐步发现更多的核心语义;
在MFCMLP中引入时间域全连接层MorphFCt,这个模块针对输入的特征图在时间维度上进行变换,进过展平、全连接操作、再恢复到高维空间。
3.根据权利要求2所述的一种基于深度时空记忆与交互网络的交通事件检测方法,其特征在于,所述在MFCMLP中引入时间域全连接层MorphFCt,这个模块针对输入的特征图在时间维度上进行变换,进过展平、全连接操作、再恢复到高维空间,具体为:H×W×T×C
给定一个输入视频片段标记X∈R ,首先沿着通道维度将X分成几组以降低计算成本,每组D个通道,得到k H×W×T×D
X∈R (4)
其中,k∈{1,…,C/D},对于每个空间位置s,将所有帧的特征串联成一个块 其中s∈{1,…,HW};
TD×TD
引用FC矩阵W∈R 对时间特征进行转换,得到:H×W×T×C
将所有的块 重新调整回原始的tokens维度,并输出Y∈R 。
4.根据权利要求1所述的一种基于深度时空记忆与交互网络的交通事件检测方法,其特征在于,步骤2具体为:在所输入的时间序列中,设输入的时间序列为其中T表示时间步长,在经过1×1的卷积变换之后得到:其中,W1表示权重参数,为上述线性变换的权重矩阵,b1表示上述线性变换中的偏置;
在空洞卷积的并行处理部分,主要包含两个并行的卷积处理块,每个卷积块包含两个扩张的卷积层,针对每个扩张卷积层,第l层的输出表示为:(l) (l‑1)
X =DilatedConv(X ,dilation=dl) (7)其中,dl指的是第l层的扩张率;
设第一个扩张卷积块的输出是X1,第二个扩张卷积块的输出为X2,则每个块的具体处理过程如下:X1=DilatedConv1(W1Z+b1) (8)X2=DilatedConv2(W2Z+b2) (9)其中,W2是扩张卷积操作中的权重参数,b2表示第二个扩张卷积层中的偏置;
则经过残差连接和后续处理得到的信息为:
X=X1+X2 (10)
然后经过一系列的非线性激活和正则化的处理得到:Xnorm=WeightNorm(X) (11)Xrelu=Relu(X) (12)
Xdropout=Dropout(X) (13)最终的输出为:
Y=W3Dropout(Relu(WeightNorm(X1+X2)))+b3 (14)其中,W3表示最终输出层的权重矩阵,b3表示是最终输出层的偏置。
5.根据权利要求1所述的一种基于深度时空记忆与交互网络的交通事件检测方法,其特征在于,步骤3具体为:针对每一个视频帧F[t],最终的输出异常分数S[t]∈[0,1],其中0表示无异常,1表示该帧异常;为反映数据分布的异常类赋予更高的权重,选择加权交叉熵损失来训练模型,对于每个权重ωi,使用的公式如下:ωi=e/ei (15)
其中,e是数据集中的示例总数,ei是类别i的示例数量。
6.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。
8.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。