1.一种用于商用车主动安全的交通标志识别方法,其特征在于,所述识别方法的具体步骤如下:S1、通过车载摄像头装置捕获道路全景图像信息,并对道路全景图像信息进行预处理操作,通过色彩变换空间设定阈值提取感兴趣区域图像;
S2、将上述感兴趣区域图像与交通标志模板库图片进行匹配,根据匹配结果定位道路全景图像中的标志图像;
S3、设计并搭建神经网络模型,在采样交通标志数据集上训练所述神经网络模型,获得最优交通标志识别模型;
S4、合并上述最优交通标志识别模型中的多分支结构,获得重塑模型;
S5、针对步骤S2中所述的标志图像进行分类识别,将标志图像进行归一化处理后输入步骤S4的重塑模型,根据输出结果判断交通标志类型。
2.如权利要求1所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,在所述步骤S1中,获取感兴趣区域图像具体包括如下步骤:S11:所述车载摄像头装置获取道路图像宽度为width像素,高度为height像素;
S12:保留所述捕获道路图像高h倍的上侧图像,剪裁后图像的宽、高分别为Iwidth、Iheight,可通过下列公式(1)、(2)计算得到:Iwide=width (1)
Iheight=h·height (2)
S13:对步骤S12中所述上侧图像进行平滑滤波处理,假设选取尺寸为m×n的窗口对所述上侧图像进行滤波,则滤波窗口中心像素(x,y)处的计算公式如下式(3)所示:其中,w(r,s)是加权函数,r、s分别是滤波窗口当前计算像素相对于滤波窗口中心像素的横、纵坐标偏移量,根据实际工程需要为加权函数赋予不同权值,g(x,y)是原始图像,a、b是整数且S14:对上述步骤S13中滤波处理后的图像进行HSV空间变换,假设当前图像某一点的红色通道值为R,绿色通道值为G、蓝色通道值为B,则经过HSV空间换后的H、S、V值可以通过以下具体转换步骤得到:S141:取出RGB图像中的红色通道值R、绿色通道值G和蓝色通道值B;
S142:将R、G、B三者进行归一化处理,得到R'、G'、B',计算公式如下式(4)、(5)和(6)所示:R'=R/255 (4)
G'=G/255 (5)
B'=B/255 (6)
S143:计算最大通道值Cmax和最小通道值Cmin,计算公式如下式(7)、(8)所示;
Cmax=max(R',G'B') (7)
Cmin=min(R',G'B') (8)
S144:通过以下公式(9)、(10)、(11)计算得到RBG格式图片转换到HSV空间后的色调H、饱和度S、亮度V:V=Cmax (11)
S15,设定步骤S14中H、S、V的阈值获取掩膜,将掩膜与步骤S13中的上侧图像进行相乘,获取感兴趣区域图像,计算公式如下式(12)所示:其中,B(x,y)表示获得感兴趣图像在坐标(x,y)处的像素值,Ox,y表示原图在坐标(x,y)处的像素值,Ix,y表示所述掩膜在坐标(x,y)处的像素值。
3.如权利要求1所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,所述步骤S2具体包括如下步骤:S21:制作交通标志模板库,具体包括以下步骤:
S211:针对每一类待检测标志,选择清晰可辨的标志图片作为样本;
S212:将选定的标志图片从RGB格式转换为HSV格式,转换过程按照上述步骤S142、S143及S144完成,以便在HSV颜色空间进行后续处理;
S213:在HSV颜色空间中,根据设定的阈值,针对红色、黄色或者蓝色区域进行提取操作,得到目标颜色区域;
S214:从提取的目标颜色区域中获得模板图片,所述模板图片代表了特定类型标志的形状和颜色特征;
S215:将经过处理和提取的模板图片进行组合,形成一个包含各种不同类型标志的模板库;
S22:设定一个宽、高缩放系数的列表,用于对模板图片进行缩放操作,该列表包含多组宽、高缩放系数;
S23:对前述的模板库图片和前述的HSV分割图像进行模板匹配;对于每组宽、高缩放系数,在匹配过程中,将模板图片根据当前的缩放系数进行缩放,然后与HSV分割图像进行匹配;
S24:在逐一进行模板匹配的过程中,记录每组系数对应的匹配得分,得分通过以下公式(13)计算得到:其中,Score表示二者匹配得分,T'表示模板像素值,I'表示目标图像像素值,当模板与滑动窗口完全匹配时计算数值为1,当两者完全不匹配时计算结果为‑1;
S25:从所有的匹配得分中选择得分最大的一组系数作为模板最终的缩放系数;
S26:将模板高宽按照前述缩放系数进行缩放,通过公式(14)、(15)计算得到模板缩放后的宽、高:wnew=wcoef·wold (14)hnew=hcoef·hold (15)其中,wnew、hnew分别模板缩放后的宽、高,wold、hold分别表示原始模板宽、高,wcoef、hcoef分别表示模板宽、高的缩放系数;
S27:与步骤S1所述感兴趣区域图像进行匹配,设定置信度阈值,记录得分大于置信度阈值的坐标点;
S28:若未匹配到交通标志则舍弃当前帧图像数据,跳转至步骤S1,重新获取下一帧道路图像数据;若匹配到交通标志,通过无监督聚类算法对所述记录的坐标点进行聚类,获得交通标志所在位置的左上角坐标,结合模板缩放尺度计算出交通标志定位框;
S29:根据前述计算出的交通标志定位框坐标在原始图像的对应区域进行剪裁,获得交通标志图像。
4.如权利要求3所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,在步骤S28中,若匹配到交通标志时,定位交通标志的具体步骤为:S281:记待聚类坐标样本点集合为D={X1,X2,…,Xn},聚类步骤为:(1)设定参数(ε,MinPts),用于描述邻域样本分布紧密程度;
(2)初始化核心对象集合 初始化聚类簇数k=0;
(3)遍历集合D中的样本点Xi,若满足|Nε(Xi)|>MinPts,则将Xi加入到核心对象集Ω中,其中,|Nε(Xi)|表示满足集合Nε(Xi)的子样本集个数,该集合的定义如下式(16)所示:Nε(Xi)={Xj∈D|distance(Xi,Xj)≤ε} (16)其中,distance(Xi,Xj)表示样本Xi、Xj之间的距离;
(4)如果核心对象集合Ω中元素都已被访问,则算法结束,否则进入步骤(5);
(5)初始化当前种子集合 随机访问核心对象集合Ω中的一个元素o,并将元素o的状态标记为已访问、类别标记为k,将元素o的ε邻域中未访问元素存放到种子集合Γ中;
(6)如果种子集合 则当前聚类簇Ck生成完毕,且k=k+1,跳转到步骤(4);否则,从种子集合Γ中挑选一个元素s,首先将元素s的状态标记为已访问、类别标记为k,然后判断此时满足式(16)的子样本集个数是否大于MinPts,如果是,将所述子样本集中未访问的种子点加入到种子集合Γ中,同时在核心对象集合Ω中将所述子样本集包含元素的状态标记为已访问,跳转到步骤(6);
S282:针对聚类完成的每个类别样本点求平均值,即最终匹配得到的坐标计算公式为下式(17)、(18)所示:其中,xk,yk表示聚类结果第k个类别簇的横纵坐标值,m表示第k类别簇的样本点个数,表示k个类别簇的第i个样本点的横纵坐标值;
S283:根据聚类结果,定位得到检测道路图像中交通标志所在位置左上角的坐标,以及交通标志的右下角坐标,即得到标志最终定位结果,交通标志右下角坐标的计算公式如(19)、(20)所示:xmax=xmin+wnew (19)
ymax=ymin+hnew (20)
其中,xmax,ymax分别表示所述定位交通标志右下角坐标,xmin,ymin分别表示聚类得到的交通标志左上角坐标,wnew,hnew表示式(14)、(15)所计算经缩放后模板的宽、高。
5.如权利要求1所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,所述步骤S3具体包括以下步骤:S31:划分训练数据集,保存至本地磁盘;
S32:搭建卷积神经网络模型,具体包括:
S321:定义输入层;
确定输入图像的尺寸和通道数;
S322:添加卷积层;
按照设计的网络结构,在网络中添加卷积层;
S323:添加激活函数;
按照网络模型结构加入激活函数;
S324:添加最大池化层;
在所有卷积块的最后,添加一个最大池化层,将特征图压缩为一个特征向量;
S325:添加全连接层;
在最大池化层之后,添加一个全连接层用于输出分类结果;根据具体的任务需求确定输出层形状;
S326:添加softmax层;
在全连接层之后,添加一个softmax层用于计算各分类结果的概率,其计算公式如下(21)所示:其中,xi为softmax层的第i个输入,f(xi)为softmax层的第i个输出,xj为softmax层的第j个输入;
S327:编译模型;
将网络结构、损失函数和优化算法结合起来,编译模型;选择优化算法并指定学习率、权重衰减;
S328:训练模型;
使用所述数据集,通过反向传播算法优化模型参数;在训练过程中,通过反复迭代优化模型参数,使模型逐渐学习并提升性能,获得最优权重。
6.如权利要求5所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,所述激活函数选择非线性函数,以防止模型过拟合,其计算公式为(22)所示:其中,x为输入函数的自变量,Act(x)为激活函数。
7.如权利要求1所述的一种用于商用车主动安全的交通标志识别方法,其特征在于,所述步骤S4具体包括以下步骤:S41:将1×1卷积层分支上的卷积层周围填充0重构为3×3卷积层;
S42:将3×3卷积算子和BN算子融合,转换公式如下(23)所示:其中,BN(Conv(x))表示Conv2d算子和BN算子融合结果,γ表示BN层放缩系数,β表示BN2
层平移系数,σ表示输入BN层样本的方差,μ表示输入BN层样本的均值,ε是一个非常小的常量,其作用是防止分母为0,W(x)表示Conv2d层权重,表示Conv2d层的偏置;
S43:将只有BN的分支BN转换成3×3卷积,实现过程为:构建一个只做恒等映射的3×3卷积层,与BN层按步骤S42进行融合即可;
S44:将多分支结构进行融合,即将每个分支转换后的3×3卷积层进行叠加操作,合并为单支结构。
8.一种如权利要求1~7任意一项所述的用于商用车主动安全的交通标志识别系统,其特征在于,包括安装在检测车辆上的车载摄像头装置、嵌入式系统、显示屏、警示装置、总线系统、汽车控制单元以及电机控制单元;
所述车载摄像头装置,用于捕捉道路全景图像数据,安装在检测车辆的前部,以获取车辆周围的道路信息,并且通过USB接口与所述嵌入式系统相连,将采集到的图像数据传输给嵌入式系统进行处理;
所述嵌入式系统,用于处理图像数据以及运行如权利要求1~6所述交通标志识别方法;所述嵌入式系统通过HDMI视频输出接口与所述显示屏相连,将识别结果和相关信息显示在显示屏上;所述嵌入式系统通过GPIO口与所述警示装置连接,以向驾驶员传达警示信息;所述嵌入式系统通过所述总线系统与所述汽车控制单元通信;
所述显示屏,用于在车辆内部向驾驶员显示识别结果和相关信息;
所述警示装置,用于向驾驶员发出警示信号,可以是声音提示、闪烁的灯光或震动装置,提醒其注意道路上的交通标志;
所述总线系统,用于实现各个装置之间的数据交换和通信,采用汽车内部的CAN总线向所述汽车控制单元下达控制指令;
所述汽车控制单元,用于接收总线传输指令,向所述电机控制单元发出控制信号;
所述电机控制单元,用于接收汽车控制单元发送指令,对车辆进行主动减速或刹车动作。