1.一种基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的方法包括步骤如下:
S1:将采集到轮胎DOT信息的轮胎图像进行特征提取,分别得到N个阶段输出的第一特征图,同时将N个阶段输出的第一特征图进行特征融合得到第二特征图;
S2:对融合后的第二特征图进行DOT信息粗略定位,用于检测是否有“DOT”三个字符及其位置信息,从而得到区域图;
S3:将区域图生成一个掩膜图,并与第二特征图相乘,对相乘后得到的第三特征图进行DOT信息精细定位,得到DOT信息文本概率和位置信息,从而定位到有角度的候选文本块;
S4:对最后一个阶段输出的第一特征图进行轮胎弯曲方向检测,获取轮胎胎面的字符方向信息;
S5:将步骤S3得到的候选文本块和步骤S4得到的轮胎胎面的字符方向信息进行仿射变换,转化为方向向上的水平文本块;
S6:对水平文本块输入基于深度学习的文本识别网络进行DOT字符识别,得到最后的识别信息。
2.根据权利要求1所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:步骤S1,采用特征提取网络进行特征提取,所述的特征提取网络包括ResNet‑50网络、特征金字塔网络FPN;
所述的ResNet‑50网络先对采集到轮胎DOT信息的轮胎图像进行特征提取,得到4个阶段输出的第一特征图C1,C2,C3,C4,对应的分辨率分别是输入轮胎图像的1/4,1/8,1/16,1/
32;
将第一特征图C1,C2,C3,C4分别输入特征金字塔网络FPN进行特征融合,用于连接低级特征映射和高级语义特征映射;分别输出第二特征图P1,P2,P3,P4。
3.根据权利要求2所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的DOT信息粗略定位具体如下:S201:将融合后的第二特征P1输入空间注意力模块得到输出的特征图A1;
S202:通过区域建议网络RPN进行预测,在特征图A1上进行softmax分类和位置回归,得到一个含有“DOT”三字符及其位置信息的区域图。
4.根据权利要求3所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的DOT信息精细定位的具体步骤如下:S301:对第三特征图建立文本检测分支,所述的第三特征图的大小是采集的轮胎图像大小的1/4;
S302:所述的第三特征图由六个通道组成,第一个通道计算每个像素为正样本的概率,中间的四个通道计算每个正样本像素点与文本框上、右、下、左边界的距离,最后一个通道预测相关边界框的方向;
S303:从而产生DOT信息文本概率和位置信息,并定位到轮胎图像的候选文本块。
5.根据权利要求4所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的轮胎弯曲方向检测具体如下:取出ResNet‑50网络输出的最后一层特征图C4,经过两层全连接层,再经过class分类,预测出4维数组,表示属于轮胎弯曲的上下左右四个方向的概率,从而得到轮胎胎面的字符方向信息。
6.根据权利要求5所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:步骤S5,所述的仿射变换具体如下:将得到的轮胎胎面的字符方向信息和得到有角度的候选文本块作为仿射变换参数输入ROI Rotate模块,对文本块进行仿射变换,转化为方向向上的水平文本块;所述的放射变换的过程分为两个步骤:
(1)通过步骤S3得到的文本候选的预测坐标和步骤S4得到的轮胎胎面的字符方向信息计算仿射变换参数;
(2)将仿射变换分别应用于每个区域的共享特征映射,并获得文本区域的正常情况下水平的特征映射。
7.根据权利要求6所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:为了减少各个阶段的局部损失对收敛的影响,采用总损失函数进行训练,以确保有效的收敛;其中所述的总损失函数定义如下:Ltotal=λ1Ldot+λ2Ldetect+λ3Lcls+λ4Lrg式中,Ldot表示DOT信息粗略定位阶段的损失函数;Ldetect表示DOT信息精细定位阶段的损失函数;Lcls表示轮胎弯曲方向检测阶段的损失函数;Lrg表示DOT字符识别阶段的损失函数;λ1,λ2,λ3,λ4是相应的权衡因素,代表四种损失对总损失函数的贡献。
8.根据权利要求7所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的DOT信息粗略定位阶段的损失函数Ldot由分类损失函数和位置回归损失函数组成,其公式如下:
式中,i表示锚框索引;pi表示预测出正样本的概率; 表示对应的真实值的概率;ti表示预测的候选框;表示对应positive anchor对应的真值标签框;Ns、Ng分别表示对应任务的样本数量;Ls表示分类损失函数;Lg表示位置回归损失函数。
9.根据权利要求7所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所以DOT信息精细定位阶段的损失函数Ldetect:Ldetect=Ldcls+Ldreg其中,|X∩Y|表示集合X和Y的交集,|X|和|Y|表示其元素个数,对于分割任务而言,|X|和|Y|分别表示分割的Ground True和Predict mask;Ldcls表示分类的损失;
Ldreg表示坐标回归总的损失,使用IOU Loss+余弦角度差损失:Ldreg=Liou+Lθ
IOU Loss:
*
其中,表示预测的几何形状,R是其相应的标注框;
余弦角度差损失:
*
其中,是对旋转角度的预测,并且θ表示标注值。
10.根据权利要求7所述的基于端到端深度学习的轮胎DOT信息识别方法,其特征在于:所述的轮胎弯曲方向检测阶段的损失函数Lcls,其公式如下:式中,aj表示输入向量T的第j个值;ak表示输入向量T的第k个值;yj表示真实标签;T表示类别数;Sj是向量S的第j个值,表示这个样本属于第j个类别的概率;
所述的DOT字符识别阶段的损失函数Lrg,其公式如下:式中,ψ表示地面实况序列的集合;y表示估计序列、l表示真实标记序列。