1.一种自然场景下的船牌矫正识别方法,其特征在于,所述方法包括以下步骤:S1:数据获取:通过摄像头采集港口进出船舶的图片;
S2:数据处理:对原图裁剪获取船牌图片;
S3:模型训练:用文字矫正模型训练船牌矫正识别,过程如下:S3‑1:将船牌图像I传入,将图像转换成小图Id,然后传入定位网络,回归出一系列坐标点,通过激活函数归一化为[‑1,1],确定出20个确定文字区域的基准点C;
S3‑2:将船牌图片I与S3‑1中生成的20个基准点的坐标输入网格生成网络,通过TPS变′换输出另一组基准点C,并生成输出坐标;
S3‑3:通过采样器进行双线性插值并将超出图的部分直接删掉,得到修正后的输出图′像I;
′
S3‑4:将矫正后的船牌图像I 输入识别网络,识别网络主要分为编码层和解码层,图像输入后先通过编码层提取文字特征,再通过解码层得到正向船牌识别结果和反向船牌识别结果;
S4:模型检测:用训练好的船牌矫正模型对船牌进行矫正识别并得到船牌名;
所述步骤S2包括以下步骤:
S2‑1:去除不含船牌的图片,对包含船牌的图片中的船牌边框四个顶点进行标定,四个顶点的坐标记为(x1,y1),(x2,y2),(x3,y3),(x4,y4),标签类别标成船牌名,生成xml文件;
S2‑2:编写图像切割程序,通过图像和xml文件将船牌切割,并转换成64*200大小并保存;
S2‑3:将船牌图片中出现的所有文字进行编码,得到编码文件;
S2‑4:编写程序将全部船牌顺序打乱,将一部分的船牌作为训练集,余下的的作为验证集,然后将对应文件名和船牌名分别保存在train.txt文件和eval.txt文件中;
所述步骤S3‑2中,TPS变换:
′ ′
其中di,k表示pi和Ck的欧氏距离, 为常量,K=20;
′ ′
P={pi},i=1,2,…,N表示输入图像,P={pi},i=1,2,…,N表示网格生成网络中对应′原图生成的网格坐标信息,其中pi跟pi表示每一个像素点的坐标,N为图像的像素点个数;
所述步骤S3‑4中,编码层由卷积层和双向LSTM模块构成,解码层由注意力机制模块和LSTM模块构成,图片通过卷积层提取文字特征,再经过双向LSTM模块编码得到特征序列图,然后通过注意力机制模块提取到具体每个船牌文字所在位置信息,并通过双向LSTM模块进行解码分别得到正向船牌识别结果和反向船牌识别结果。
2.如权利要求1所述的一种自然场景下的船牌矫正识别方法,其特征在于,所述步骤S3‑1中,定位网络包括8层卷积层、7个最大池化层、2个全连接层。
3.如权利要求1所述的一种自然场景下的船牌矫正识别方法,其特征在于,所述步骤S4中,将船牌图片转换成64*200大小,传入训练好的船牌矫正识别模型,得到矫正后的船牌图像和船牌名对应的编码,经过正反向船牌识别置信度判断,选取置信度较高的识别结果,通过编码表文件进行解码,得到最后的船牌名。