1.一种融合车内驾驶视频与GPS时速信息的变道行为监控方法,其特征在于,所述融合车内驾驶视频与GPS时速信息的变道行为监控方法,包括:获取车内摄像头采集的方向盘区域图像序列,输入到视觉特征编码模块进行特征提取,得到视觉特征;
获取图像序列中每一帧的GPS速度信息,将其与视觉特征进行融合,得到时域融合特征;
将时域融合特征转换为频域融合特征,通过频域自注意模块进行变道行为检测,输出变道行为识别结果;
其中,所述视觉特征编码模块采用移动端视觉卷积网络MobileNetV3,并将所述移动端视觉卷积网络MobileNetV3中的下采样的逆残差模块Inverted Residual替换为逆池化模块Inverted Pool模块,所述逆池化模块Inverted Pool模块包括:第一逐点卷积层、最大池化层、多尺度CBAM模块和第二逐点卷积层;
所述多尺度CBAM模块包括多尺度通道注意力模块和多尺度空间注意力模块,所述多尺度CBAM模块执行如下操作:将最大池化层之前的第一特征图与最大池化层之后的第二特征图输入到多尺度通道注意力模块,得到第三特征图;
将第二特征图与第三特征图相乘得到第四特征图;
将第四特征图与第一特征图一并送入多尺度空间注意力模块,得到第五特征图;
将第四特征图与第五特征图相乘得到输出特征图。
2.根据权利要求1所述的融合车内驾驶视频与GPS时速信息的变道行为监控方法,其特征在于,所述多尺度通道注意力模块,执行如下操作:对第一特征图以及第二特征图分别进行最大以及均值池化,通过共享权值的多层感知机进行连接,最后通过Sigmoid激活得到通道注意力。
3.根据权利要求1所述的融合车内驾驶视频与GPS时速信息的变道行为监控方法,其特征在于,所述多尺度空间注意力模块,执行如下操作:采用步长为2的卷积对第一特征图所在的链路进行卷积以调整输出特征图大小,使之与第四特征图的步长为1的卷积结果大小匹配,并对两路特征图卷积结果进行连接,再经过一次卷积并通过Sigmoid激活得到空间注意力。
4.根据权利要求1所述的融合车内驾驶视频与GPS时速信息的变道行为监控方法,其特征在于,所述通过频域自注意模块进行变道行为检测,输出变道行为识别结果,包括:对频域融合特征的每一列利用一个多层感知机MLP提取关键频率点,从而得到包含关键频率点的压缩融合特征;
对频域融合特征的每一行利用一个多层感知机MLP提取关键特征点,从而得到包含关键特征点的压缩融合特征;
将包含关键频率点的压缩融合特征和包含关键特征点的压缩融合特征进行拼接,再通过三个不同的多层感知机MLP获得三个向量Q、K和V,输入自注意模块,并最后再经过一层多层感知机MLP,得到当前图像序列中是否包含变道的分类结果。