1.一种汉字结构退化的低分辨率车牌识别方法,其特征在于,按照以下步骤实施:步骤1、构建VGG16网络,提取整个车牌的深度特征
将待识别的低分辨率车牌进行图像归一化,处理到m×n大小,归一化后的车牌图像记为Plate=[pla(i,j)]m×n,将车牌Plate=[pla(i,j)]m×n输入VGG16网络后,网络输出为N×T大小的车牌特征矩阵,记为F=[f(i,j)]N×T,这个车牌特征矩阵由N个T维行向量构成,即N个T维的车牌特征向量,此外,将这个车牌特征矩阵F=[f(i,j)]N×T的列向量来观察,则是由T个N维列向量构成,即T个N维的字符特征向量构成,对字符的特征提取共计N维;
步骤2、将车牌特征矩阵转换为字符特征序列
将步骤1得到的车牌特征矩阵F=[f(i,j)]N×T的每一个列向量看成是某个字符的特征向量,车牌特征矩阵F=[f(i,j)]N×T表示了T个N维的字符特征构成的字符特征序列,则将车牌特征矩阵F=[f(i,j)]N×T的列向量表示为字符特征序列:X=[x1,x2,...,xT],xt=[f1,t,Tf2,t,...,fN,t],t=1,2,...,T;
步骤3、将字符特征序列X=[x1,x2,...,xT]送入双向深度LSTM网络,使用双向深度LSTM网络,作为分类器,输出字符特征序列的归属概率矩阵Y=[y1,Ty2,...,yT],每个yt=[p1,t,p2,t,...,p66,t],t=1,2,...,T都是66维的归属概率向量,输出归属概率矩阵Y=[y1,y2,...,yT]是66×T的车牌字符序列的归属概率矩阵;
步骤4、对输出的车牌字符序列的归属概率矩阵进行解码
解码步骤如下:
T
4.1)取归属概率矩阵Y=[y1,y2,...,yT]中的每个yt=[p1,t,p2,t,...,p66,t]的最大值T对应的字符序号是:yt,max=argmax{[p1,t,p2,t,...,p66,t]},t=1,2,...,T(1)则输出的候选序列为:ymax=[y1,max,y2,max,...,yT,max] (2)
4.2)消除候选序列中的空格和重复字符;
4.3)如果步骤4.2)得到的车牌汉字的归属概率大于0.99,则输出识别结果;
否则,转入步骤5,对车牌中的汉字进一步再识别;
步骤5、对车牌汉字部分进行分割;
步骤6、对车牌汉字进行再识别的确认。
2.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤1中,m=32,n=100。
3.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤1中,对于目前最多8位的车牌,T=26。
4.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤1中,N=512。
5.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤3中,66维分别为31个省份的标识汉字、24个字母、10个数字和1个空白,共66类标签。
6.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤5中,具体过程如下,对车牌Plate=[pla(i,j)]32×100进行投影计算:如果是由7个字符构成的普通车牌,转步骤5.1);如果是由8个字符构成的普通车牌,转步骤5.2);
5.1)对普通车牌进行分割
按照国标的设计,以7个字符的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙,取 的范围,按照公式(4)计算得到分割点ps:以分割点处设置垂直的分割线,分割出由汉字和邻近一个字符构成的汉字再识别区域,直接转入步骤6;
5.2)对新能源车牌进行分割
按照国标的设计,以8个字符的新能源车牌的前两个字符与第三个字符之间的供电子眼对焦的小点产生的较大间隙,取 的范围,按照公式(5)计算得到分割点ps:
以分割点处设置垂直的分割线,分割出由汉字和邻近一个字符构成的汉字再识别区域,记作RC,转入步骤6。
7.根据权利要求1所述的汉字结构退化的低分辨率车牌识别方法,其特征在于:所述的步骤6中,具体过程如下,
6.1)获取候选的汉字模板
按照步骤4,再次计算得到概率次大的车牌识别结果,将概率最大TOP1和概率次大TOP2的两个车牌识别结果的汉字及相邻的字符,按照车牌国标规定的汉字、字符的字体和大小构造相对应的汉字模板,记TOP1汉字模板为M1,TOP2汉字模板为M2;
6.2)计算汉字区域与汉字模板的相似度
选择一个孪生网络,先将TOP1汉字模板为M1与待识别汉字区域RC输入网络,输出汉字区域RC与TOP1汉字模板M1的相似度,记作S1;之后,再将TOP2字模板为M2与待识别汉字区域RC输入网络,输出汉字区域RC与TOP2汉字模板M2的相似度,记作S2;
孪生网络训练时,正样本为低分辨率车牌和候选汉字模板中同属于一个字的汉字图像组成的图像对,负样本为汉字图像对不是同一个汉字组成的样本对;
6.3)取步骤6.2)计算得到的两个相似度S1和S2,按照下面公式计算,得到结果M*:
6.4)将M*替换待识别的汉字区域RC为车牌汉字的输出结果,其它的字符结果则采用步骤4.2)的结果。