1.一种复杂环境下基于图像增强的深度神经网络车牌定位方法，该方法包括：

复杂环境下基于图像增强的深度神经网络车牌定位方法，以神经网络深度学习为技术背景，用各种环境背景下的车牌照片数据对搭建的车牌定位模型进行大量学习训练，得到网络模型的权重文件以及其它参数文件；并在系统的检测阶段引入图像增强技术，对测试集中的低照度、有雾、模糊照片进行图像增强，实现了复杂环境下车牌的精准定位，很好地解决了现有车牌定位算法对环境因素敏感、对图像质量要求高、车牌可定位场景单一的问题；

复杂环境下基于图像增强的深度神经网络车牌定位方法步骤如下：

步骤一、车牌照片数据集的建立；该部分包括车牌照片数据集的收集、清洗、增强、标注，最后形成训练车牌定位神经网络的车牌照片数据集；其中，在车牌照片训练集的标注部分，选用labelImg软件，对数据集中的训练集进行车牌类别人工标注，生成该车牌的真实框并得到真实框所包含的信息；用labelImg软件对训练集车牌照片中的真实车牌进行标注，首先，框出照片中所有车牌的位置，然后输入物体类别为“License”，至此，一张车牌照片的车牌类别人工标注完成，保存标注信息，生成该车牌照片的xml文件；从车牌照片标注后生成的xml文件中，可以得到该车牌照片中任何一个车牌标注后生成的真实框的中心位置坐标(x,y)以及宽度w和高度h；

步骤二、车牌定位神经网络框架的建立；在该部分搭建一个具有提取车牌数据特征和检测并回归物体位置、类别信息功能的车牌定位神经网络框架；该网络框架是一个多尺度检测的模型，其采用全卷积网络，使用步长为2的卷积核降采样，在网络中大量使用残差网络跳层连接，保证在网络结构加深的情况下，训练仍能收敛；同时，在网络中采用上采样和张量拼接操作，上采样可使网络提取的深层特征图尺寸变大；张量拼接，可将网络提取的浅层特征图与上采样后尺寸变大的深层特征图拼接在一块，然后将拼接后的特征图用于低倍降采样检测，使网络同时学习深层和浅层特征，定位效果更好；最后，分别在32倍降采样、16倍降采样以及8倍降采样下进行3次检测，多尺度下预测输出；

搭建的车牌定位神经网络框架共由1个输入层、26个卷积块层、5个残差网络层、2个上采样操作层、2个张量拼接操作层、3个卷积操作层、3个预测输出层组成；

步骤三、车牌定位神经网络模型的锚框生成；在该部分主要是对车牌定位神经网络模型训练时所需要的锚框进行生成，锚框在神经网络训练中的主要作用是较大幅度提升模型的检测精度；通过对训练集标注好的车牌真实框进行聚类，进而发现训练集中车牌真实框的统计规律，最后根据这些统计规律去生成锚框，方便后续训练；

锚框的生成方法如下：选用K均值聚类算法，以步骤一中标注完成的训练集车牌照片为聚类样本，对训练集标注好的车牌真实框进行聚类，生成锚框；在这种方法中，聚类中心个数k等于数据集对应的锚框数，选择k＝9，生成9个符合数据集的锚框，锚框分为3个不同尺度，每个尺度各有3个，分别给出锚框的宽度pw和高度ph；另外在这个聚类任务中，如果使用传统的欧式距离进行聚类，会导致大尺度锚框的位置误差远大于小尺度锚框的位置误差；

而最终希望的是通过聚类得到的锚框和车牌照片训练集中标注的车牌真实框有尽可能大的交并比值，故而采用如下的距离d度量：d(box,centroid)＝1‑IOU(box,centroid)

其中，box表示车牌照片训练集中标注的车牌真实框，centroid表示聚类中心对应的边界框，IOU(box,centroid)表示聚类中心对应的边界框和车牌照片训练集中标注的车牌真实框的交并比，IOU表示交并比；

步骤四、车牌定位神经网络模型训练的损失函数；在该部分主要是对车牌定位神经网络模型训练所用的损失函数进行详细介绍，车牌定位神经网络模型的损失函数共有3部分构成，具体如下：(1)位置损失

位置损失由2部分构成，分别为中心损失center_loss和尺度损失size_loss；中心损失用于评估网络预测的预测框的中心和实际车牌的真实框的中心间的误差；尺度损失则用于评估网络预测的预测框的高度与宽度和实际车牌真实框的高度与宽度间的误差；中心损失x_loss和y_loss使用的函数为二值交叉熵函数，尺度损失size_loss使用的函数为平方函数，具体公式如下：center_loss＝x_loss+y_loss

上式中，N表示网络预测的预测框的总数， 表示第i个预测的车牌预测框中是否存在目标，(xi,yi)表示第i个车牌所在真实框的中心位置， 表示网络预测的第i个车牌预测框的中心位置，wi、hi表示第i个车牌所在的真实框的宽度和高度， 表示网络预测的第i个车牌预测框的宽度和高度，α用于调整尺度损失在所有损失中所占据的比例；

(2)置信度损失

置信度损失confidence_loss用于评估网络预测的预测框对应的置信度和实际车牌的真实框对应的置信度之间的误差；置信度损失使用的函数为二值交叉熵函数，具体如下：confidence_loss＝obj_loss+noobj_loss

其中，N表示网络预测的预测框的总数， 表示第i个预测的车牌预测框中是否存在目标，Ci表示第i个车牌真实框的置信度， 表示网络预测的第i个车牌预测框的置信度；

(3)类别损失

类别损失cls_loss用于评估网络预测的预测框对应的类别和实际车牌的真实框对应的类别之间的误差，具体如下所示：其中，N表示网络预测的预测框的总数， 表示第i个预测的车牌预测框中是否存在目标，pi表示第i个车牌所在真实框中物体的类别， 表示网络预测的第i个车牌预测框中物体的类别；

最终，车牌定位神经网络模型的损失函数loss为：

loss＝center_loss+size_loss+confidence_loss+cls_loss步骤五、车牌定位神经网络模型的训练；在该部分主要是对搭建的车牌定位神经网络模型进行训练，生成网络模型的权重文件以及其他参数文件；训练集为步骤一中标注生成的车牌照片xml文件；具体训练算法步骤如下：(1)车牌定位神经网络模型先随机初始化模型各处权值，使初始化的权值服从高斯正态分布；

(2)输入一张任意大小的车牌照片，保持其长宽比例不变的情况下，调整车牌照片像素尺寸为416×416；将像素尺寸为416×416，3颜色通道的RGB图作为网络模型的输入，从标注生成的车牌照片xml文件中可以得到这一输入信息；

(3)运行网络检测；把416×416像素尺寸，3颜色通道的RGB图输入到步骤二搭建的车牌定位神经网络模型中，模型会对这一输入信息按照附图说明图2的流程依次经过多个卷积块层、残差网络层并进行上采样、张量拼接操作，最后在3个预测输出层进行多尺度预测输出，3个预测输出层的输出分别为52×52×18、26×26×18、13×13×18的特征图，这些特征图便包含了所有预测框的中心位置、宽高及其所属的置信度、类别信息对于网络检测这一部分，取“52×52×18”这个特征图为例进行详细分析，该尺度下的车牌定位预测，将一张照片分成52×52个网格，每个网格输出一个18维的向量；该18维的向量包含3个预测框，每个预测框的预测信息包括4个修正参数txi、tyi、twi、thi和1个置信度 以及

1个类别信息 其中，txi、tyi是预测框的中心坐标相对值，twi、thi是预测框的宽、高的相对值，置信度 表示该预测框包含物体的置信分数，类别信息 表示预测框中物体为车牌类别的概率；而后通过下式计算出最终的预测框的真实中心位置以及宽、高；

其中Cxi、Cyi表示第i个预测框相对图片左上角位置坐标的偏移量，Pw、Ph表示预测框对应锚框的宽度以及高度，σ为sigmoid函数； 表示第i个最终车牌预测框的中心坐标以及宽、高；

(4)将车牌照片训练集中标注出的真实框与聚类得到的锚框进行匹配，得到目标框；具体方法如下：首先计算出车牌真实框所在中心点的位置坐标，筛选出此中心点对应的九个锚框，选取与真实框有最大IOU值的锚框作为目标框，并将该真实框的坐标值信息赋给目标框，即得到目标框的坐标值(xi,yi,wi,hi)，并将目标框的类别值Pi设置为1，置信度值Ci设置为1，其余未标记的锚框的参数值均设置为0，由此，得到目标框的中心位置、宽高、置信度、类别信息(xi,yi,wi,hi,Ci,pi)；

(5)损失函数估计损失更新模型参量

车牌定位神经网络模型训练时，一张车牌照片通过整个神经网络模型的检测，最后共预测出52×52×3+26×26×3+13×13×3＝10647个预测框，每个预测框的中心位置、宽高、置信度、类别信息都包含在一个6维的向量中，然后根据损失函数计算预测框的中心位置、宽高及其置信度、所属的类别信息 与目标框的中心位置、宽高及其置信度、所属的类别信息(xi,yi,wi,hi,Ci,pi)之间的位置损失、置信度损失、类别损失，然后再反向运算更新参量，完成一次数据训练；

在模型训练中，将10000张标注的车牌照片训练集导入模型依次进行训练；每训练完一个epoch后，就用验证集对模型进行一次评估，而后根据评估结果相应地调整学习率和迭代次数，还可以根据评估结果判断训练过程中是否出现了过拟合的情况；同时，采取Adam算法作为优化算法，对模型的训练分二个阶段；第一阶段学习率设置为0.001，batch设置为32，训练2000次后进入第二阶段的训练过程；第二阶段训练过程中，将学习率更改为0.0001，同时减小batch到8，该阶段总共训练20000次；在第二阶段训练中，每隔5000个batch学习率衰减为原来的十分之一；

按照如上步骤进行训练，得到所需要的车牌定位权重文件及其他参数文件，并保存在指定文件夹下；

步骤六、车牌定位神经网络模型的测试；在该部分将步骤五得到的权重文件以及模型参数导入车牌定位神经网络模型，用未参与训练的测试集对搭建的模型进行测试并统计结果分析；在该部分对搭建的车牌定位神经网络模型进行测试，分为以下几步进行：(1)将测试集的车牌照片保存在指定文件夹，并将该文件的绝对路径导入模型，等待检测；

(2)将步骤五得到权重文件以及模型参数导入车牌定位神经网络模型；

(3)运行车牌定位神经网络模型，对测试集文件夹里的车牌照片依次进行检测；模型测试过程如下：首先，把测试集车牌照片调整为416×416像素尺寸，3颜色通道的RGB图，然后输入到步骤二搭建的车牌定位神经网络模型中，模型会对这一输入信息按照附图说明图2的流程依次经过多个卷积块层、残差网络层并进行上采样、张量拼接操作，最后在3个预测输出层进行多尺度预测输出，3个预测输出层的输出分别为52×52×18、26×26×18、13×13×18的特征图，这些特征图便包含了预测框的中心位置坐标、宽高及其所属的类别信息；同时，车牌定位模型测试时共预测

52×52×3+26×26×3+13×13×3＝10647

10647个预测框，然后通过模型设定的置信度阈值，过滤掉低分预测框，然后对剩下的预测框进行非极大值抑制处理，得到网络的最终车牌定位检测结果；

(4)模型性能评估；

测试集的车牌照片包含了各种环境背景；因此，对模型的测试评估分为以下几步：

(a)将测试集1000张包含各种环境背景的测试集车牌照片导入训练好的模型，进行检测，统计准确定位车牌照片数目，计算准确率；

(b)将测试集1000张照片中正常光照清晰条件、低照度条件、有雾天气条件、照片模糊条件的车牌照片各自归纳为一组，分别依次导入模型统计各自特定背景下的准确定位车牌照片数目，分别计算准确率；

经实验检测发现，模型对正常光照条件的车牌照片定位准确率非常高；而在天气条件比较恶劣，如低照度条件比如凌晨、黄昏；有雾天气；或者低质模糊图片，对它们进行车牌定位时，发现车牌检测算法的准确率会下降，这是由于天气环境导致场景图质量不好造成的；

这就需要在车牌检测算法中引入针对该类图像的图像增强技术，改善天气条件恶劣环境下场景图的质量，提高其可用性以及车牌定位准确率；

步骤七、待检照片的图像增强；在该部分运用图像增强技术，对测试集中的低照度、有雾、模糊的待检车牌照片进行图像增强，使其更加清晰便于检测，提高车牌定位准确率；

待检车牌照片图像增强步骤如下：

(1)用OpenCV软件得到待检照片的RGB三个颜色通道的原始图像；

(2)用高斯函数与3个颜色通道的原始图像分别进行卷积估计得到3个颜色通道的照度图像；

(3)调整高斯函数中高斯核的尺度，重复第(2)步，求出不同高斯核尺度下的3个颜色通道的照度图像；

(4)再由原始图像、照度图像以及反射图像三者之间的关系，分别求出不同高斯核尺度下的3个颜色通道的反射图像；

(5)对求得的不同高斯核尺度的3个颜色通道的反射图像，按同一颜色通道分别进行尺度加权求和，得到多尺度加权求和后的3个颜色通道的反射图像；

(6)将多尺度加权求和后的3个颜色通道的反射图像分别进行颜色恢复处理，并合并其RGB三个颜色通道，得到最后所需要的增强图像；

图像增强过程如下：

原始图像可以看作反射图像与照度图像的乘积，公式如下：

I(x,y)＝R(x,y)×L(x,y)

其中，I(x,y)表示原始图像，R(x,y)是反射图像表示物体的本质信息，L(x,y)表示照度图像；反射图像的求取步骤为：(a)估计照度图像L(x,y)

高斯函数F(x,y,c)与原始图像I(x,y)卷积可得到照度图像L(x,y)，计算公式：Lg,n(x,y)＝Fn(x,y,cn)*Ig(x,y)

∫∫Fn(x,y,cn)dxdy＝1

其中，Ig(x,y)表示原始图像第g个颜色通道的图像，Lg,n(x,y)表示照度图像在高斯核尺度为cn下的第g个颜色通道的图像，“*”表示卷积运算，Fn(x,y,cn)表示高斯核尺度为cn的高斯函数，K0表示归一化因子，由高斯函数归一化公式决定，cn为尺度为n的高斯核；

因此，用OpenCV软件得到待检照片的RGB三个颜色通道的原始图像Ig(x,y)，然后取高斯函数中的高斯核cn为15，用这个高斯函数与3个颜色通道的原始图像分别进行卷积，得到高斯核尺度为15的3个颜色通道的照度图像；然后，调整高斯核尺度为80，得到一个新的高斯函数，用这个高斯函数与3个颜色通道的原始图像分别进行卷积，得到高斯核尺度为80的3个颜色通道的照度图像；再调整高斯核尺度为250，又得到一个新的高斯函数，用这个高斯函数与3个颜色通道的原始图像分别进行卷积，得到高斯核尺度为250的3个颜色通道的照度图像；

(b)求取多尺度3个颜色通道反射图像

求解不同高斯核尺度下的单尺度3个颜色通道反射图像Rg,n(x,y)，并进行尺度加权求和得到多尺度下的3个颜色通道反射图像Rg,MORE(x,y)，求解公式为：Rg,n(x,y)＝logIg(x,y)‑log[Lg,n(x,y)]

其中Rg,MORE(x,y)表示多尺度加权求和后的颜色通道为g的反射图像，wn表示相应尺度数为n的权重系数，取权重(c)引入颜色恢复函数Cg(x,y)

颜色恢复函数Cg(x,y)可以对反射图像R、G、B的比例进行调整，使图像更加清晰保真；用颜色恢复函数对得到的多尺度加权求和后的3个颜色通道反射图像Rg,MORE(x,y)进行颜色保真处理得到Rg,COLOR(x,y)，合并其RGB三个颜色通道，得到最后所需要的增强图像，计算公式为：Rg,COLOR(x,y)＝Cg(x,y)×Rg,MORE(x,y)

其中Cg(x,y)为颜色恢复函数，色彩恢复常数a取值为125，Rg,COLOR(x,y)为经过颜色恢复函数处理的多尺度加权求和后的颜色通道为g的反射图像；

将测试集中的1000张低照度、有雾、模糊的车牌照片，依次按照如上步骤处理，分别得到各自的增强图像；

步骤八、待检照片图像增强后的车牌实时定位检测；在该部分主要是对步骤七中进行了图像增强的测试集，导入车牌定位检测算法进行定位检测评估；具体检测流程如步骤六所述，但在该部分对车牌定位检测算法的模型性能评估，分为以下几步：(1)将测试集1000张包含各种环境背景的进行了图像增强的测试集车牌照片导入模型，进行检测，并统计准确定位照片数目，计算准确率；

(2)将图像增强后的1000张测试集中正常光照清晰条件、低照度条件、有雾天气条件、照片模糊条件的车牌照片各自归纳为一组，分别导入模型统计特定背景下的准确定位照片的数目，计算准确率；

(3)将1000张经过图像增强的测试集用传统车牌定位算法进行定位处理，统计其准确定位照片的数目，计算准确率；

统计完成后发现，训练的车牌定位算法对进行了图像增强后的低照度条件、有雾天气条件、模糊条件的车牌照片定位准确率大幅提升；与传统车牌定位算法相比，所述方法定位准确率也大大提升，尤其是对低照度、有雾、模糊条件下的车牌定位，传统算法表现很差，而所述方法表现优异，性能很好；

在上述各步骤中出现的符号i表示车牌定位检测的第i个车牌预测框，i＝1,2,3,..,

10647；符号g表示图像R，G，B 3个颜色通道，g＝1,2,3；符号n表示高斯函数中的高斯核取不同尺度的尺度数，n＝1,2,3。