1.一种基于LD‑SSD网络的交通标志检测方法,其特征在于,获取不同天气下分别包含有各个目标交通标志的图像作为样本图像,根据以下步骤A至步骤D,构建并训练交通标志识别网络,通过以下步骤E,应用交通标志识别网络,对待识别目标图像内所含的目标交通标志进行类型识别:
步骤A、分别针对各个样本图像,对样本图像进行预处理,获得各个目标交通标志分别在不同天气下的各个局部图像,随后进入步骤B;
步骤B、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块,随后进入步骤C;
步骤C、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的反卷积融合处理模块,随后进入步骤D;
步骤D、分别针对各个样本图像中的各目标交通标志,以各个样本图像为输入,基于样本图像中各目标交通标志所对应局部图像的输出特征图,以输出特征图与对应融合特征图像相匹配为训练目标,以样本图像中所包含各目标交通标志在样本图像中的位置为输出,对交通标志识别待训练网络进行训练,获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络,随后进入步骤E;
步骤E、针对待识别目标图像,以待识别目标图像为输入,并基于待识别目标交通标志所对应局部图像的特征图,通过特征图与各目标交通标志所对应融合特征图之间匹配,获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出,确定目标交通标志的交通标志类型。
2.根据权利要求1所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,交通标志识别待训练网络还包括定位模块,对待识别目标图像中所含的各个目标交通标志进行定位。
3.根据权利要求1所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,所述步骤A包括以下步骤:
步骤A1、分别针对各个样本图像,按照预设尺寸统一各个样本图像的像素和尺寸,完成对样本图像的预处理,随后进入步骤A2;
步骤A2、对各个完成预处理的样本图像进行分类,将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像,利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强,将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像,得到转换后的晴天图像,随后进入步骤A3;
步骤A3、对各个样本图像中所含的交通标志利用真值框进行标定,获得不同交通标志的各个局部图像。
4.根据权利要求3所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,所述交通标志识别待训练网络还包括轻量化注意力模块,所述步骤B中,构建卷积处理模块,具体包括以下步骤:
步骤B1、基于ResNet50网络,将ResNet50网络的最大池化层和全连接层去除,并增加依次连接的4个卷积层,分别将每个卷积层中的普通残差块换成深度可分离残差块,所述深度可分离残差块依次包含1×1的卷积、3×3的卷积和ReLU函数、以及1×1的卷积;
步骤B2、在每个残差块的末端添加轻量化注意力模块,所述轻量化注意力模块包括空间注意力模块和通道注意力模块,将增强数据集中所包含的数据信息作为待训练LD‑SSD网络的输入特征,按照通道维度将输入特征划分为预设数量个通道组,划分后的各个通道组分别经过空间注意力模块和通道注意力模块,获得各个通道组分别所对应的通道注意力矩阵和空间注意力矩阵;
步骤B3、将各个通道组内部的通道注意力矩阵和空间注意力矩阵按照纵轴方式进行融合连接,实现不同通道组间的信息融合,进一步获得复杂天气图像对应的各个输出特征图。
5.根据权利要求4所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,构建用于对融合特征图像与局部图像进行匹配的预测匹配模块,所述步骤C中获得各个局部图像所对应的融合特征图像包括以下步骤:步骤C1、选取分辨率分别为80×80、40×40、20×20、10×10、5×5、3×3、1×1的输出特征图,作为反卷积融合处理模块的输入;
步骤C2、依次将反卷积融合处理模块中分辨率为1×1的深层特征图进行反卷积,卷积模块中的分辨率为3×3的浅层特征图进行卷积,获得相同分辨率和通道数的两个特征图,随后将两者对应元素相乘,得到特征融合后的新的分辨率为3×3融合特征图像,然后将该融合特征图像作为下一级反卷积融合处理模块中的深层特征图,再与下一级卷积模块中的浅层特征图按照相同的方式进行融合,最终得到分辨率依次为80×80、40×40、20×20、10×10、5×5、3×3的融合特征图像,将各个融合特征图像输入到待训练LD‑SSD网络的预测模块中。
6.根据权利要求5所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,所述交通标志识别待训练网络还包括非极大值抑制模块,所述步骤D分别针对各个样本图像中的各目标交通标志,执行以下步骤:
步骤D1、使用3×3的DW卷积以及批量归一化和1×1的PW卷积作为网络骨干道,在残差旁路使用1×1卷积作为网络分支道,将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法,获得并更新融合特征图像,将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值;
步骤D2、结合步骤A中对交通标志进行标定的真值框,为融合特征图像中的各个局部图像分别设置预设数量的先验框,分别针对各个先验框和预设真值框,计算先验框与预设真值框中相同标定位置的相对IoU值,将具有最大IoU值或值IoU值大于预设阈值的先验框作为正样本,根据正样本按照预设比例进行抽样,获得负样本,去除置信度小于预设置信度阈值的先验框;
步骤D3、使用3×3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理,然后输入到定位模块中,得到该融合特征图像内各个目标交通标志位置的相对偏移量,即[f,f,n×(c+1),[f,f,n×4]],其中f表示输出融合特征图像的尺寸,c表示交通标志分类的类别数,n表示该层融合特征图像进行先验标定后所含正样本先验框的数量,4表示正样本先验框的相对位置,获得各个正样本先验框分别所对应的交通标志的相对位置;
步骤D4、基于各个正样本先验框中各交通标志类别的置信度值,将各个正样本先验框输入至非极大值抑制模块,对正样本先验框中包含的交通标志的相对位置进行修正。
7.根据权利要求6所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,所述步骤D4中对交通标志的相对位置进行修正,分别针对各个交通标志类别,对该交通标志类别下的正样本先验框中所对应的各个置信度值进行降序排列,筛选出各交通标志类别中置信度值最高的正样本先验框,随后依次遍历所有正样本先验框,计算该正样本先验框与置信度值最高的正样本先验框的IoU值,当IoU值大于预设阈值时,删除该正样本先验框,筛选出各个交通标志类别所对应的置信度最高的正样本先验框,即得到该局部图像中所含的交通标志类型以及交通标志的定位。
8.根据权利要求7所述的一种基于LD‑SSD网络的交通标志检测方法,其特征在于,所述步骤E中通过减小分类和定位的损失函数,实现分类置信度的提高和定位准确度的增强,LD‑SSD网络的损失函数为:
其中,N为先验框的正样本数量, 为分类的置信度损失函数, 为定位的损失函数;
其中,CELoss为交叉熵损失函数;pt为属于正样本的概率;为平衡因子,用来平衡正负样本的比例不均;为调制系数,调节简单样本权重降低的速率,使得模型在训练时更专注于难分类的样本,=2; ,表示第i个正样本先验框与第j个真值框是否匹配,p表示第p个交通标志类别; 表示第i个正样本先验框属于第p个交通标志类别的置信度值,即第i个框属于第p个类别的概率,Pos为所有正样本先验框组成的集合,Neg为所有负样本先验框组成的集合;
其中, 表示预测框和真值框的惩罚项,表示欧氏距离, 分别表示预测框和真值框的中心点,c表示预测框和真值框的最小外界矩形框的对角线距离,IoU为预测框与真值框中相同标定位置的相对交并比值。