1.一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,包括:
S1、获取标准注视点显著图;步骤S1具体包括:
步骤A1:用眼动仪记录30名有两年及以上驾龄的驾驶员的眼动数据,所述眼动数据包括每一帧的注视点信息,剔除异常数据,并将整合所有被试的眼动数据到每一帧上;
步骤A2:生成一个和输入图像同样大小的空白矩阵,将每一帧的注视点在空白矩阵的对应位置赋值为1,得到一个标准注视点二值图;接着,对二值图进行2维高斯平滑,得到标准注视点显著图;
S2、建立网络模型,所述网络模型用于对输入的标准注视点显著图进行显著性检测;
所述网络模型包括:时空编码结构、Attention融合模块和解码模块,所述时空编码结构用于提取输入的标准注视点显著图的空间特征与时间特征,所述Attention融合模块用于将提取的空间特征与时间特征进行融合,所述解码模块根据融合结果计算得到显著图;
S3、通过对网络模型进行训练,并采用训练完成的网络模型进行图像显著性检测;所述时空编码结构包括空间编码结构与时间编码结构,所述空间编码结构用于提取输入的标准注视点显著图的空间特征,所述时间编码结构用于提取输入的标准注视点显著图的时间特征。
2.根据权利要求1所述的一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,所述对网络模型进行训练过程中:将当前帧用于空间特征提取,将当前帧和其前5帧组成一个连续序列,用于时间特征的提取。
3.根据权利要求2所述的一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,所述空间编码结构包括:4组卷积块与一个金字塔空洞卷积块;
每组卷积块具体包括:2个卷积操作层,每个卷积操作层包括一个3×3卷积、一个批处理规范化单元、一个校正线性单元;每组卷积块之间包括一个步长为2的2×2的最大池化层;
所述金字塔空洞卷积块采用不同空洞率空洞卷积并行架构来获取空间特征。
4.根据权利要求3所述的一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,所述时间编码结构包括:4组卷积块与一个卷积长短期记忆网络;
每组卷积块具体包括:2个卷积操作层,每个卷积操作层包括一个3×3卷积、一个批处理规范化单元、一个校正线性单元;每组卷积块之间包括一个步长为2的2×2的最大池化层。
5.根据权利要求4所述的一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,所述时间编码结构通过4组卷积块提取连续序列的特征,然后将提取的特征输入到卷积长短期记忆网络学习前后帧信息。
6.根据权利要求5所述的一种基于时空双编码的夜间交通视频显著性检测方法,其特征在于,所述解码模块的结构依次包括:3个上采样层、3组卷积块、一层1×1的卷积层和一个Sigmoid层组成,每组卷积块之前为一个×2上采样层;
每组卷积块具体包括:2个卷积操作层,每个卷积操作层包括一个3×3卷积、一个批处理规范化单元、一个校正线性单元;每组卷积块之间包括一个步长为2的2×2的最大池化层。