1.一种基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于由下述步骤组成:(1)数据集预处理
取车牌清晰图片数据集S0共4994张,图片大小为500×500像素;
1)随机生成角度τ,角度范围是(0,2π),对τ采用马尔可夫随机过程方法生成运动轨迹矢量,对运动轨迹矢量采用亚像素插值法生成模糊内核,模糊内核与清晰图片数据集S0卷积生成车牌模糊图片数据集B0;
2)将车牌清晰图片数据集S0与相对应的车牌模糊图片数据集B0构成清晰‑模糊图片对数据集;
3)清晰‑模糊图片对数据集中按3:1的比例划分为训练集P和测试集Q,其中训练集P内车牌清晰图片数据集为S,车牌模糊图片数据集为B;训练集Q内车牌清晰图片数据集为S1,车牌模糊图片数据集为B1;
(2)构建网络模型
1)构建生成对抗网络模型的生成器G
A构建自注意力机制的基础特征提取网络
模块1‑1用基础E1卷积层块卷积操作得特征图C1,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为32;
模块1‑2用基础E2卷积层块对模块1‑1输出的特征图卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为64,得到特征图C2;
模块1‑3用基础E3卷积层块对特征图C2卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为192,得到特征图C3;
模块1‑4用基础E4卷积层块对特征图C3卷积操作,连接自注意力机制卷积层网络I,自注意力机制卷积层网络I卷积核输入通道数为1088,得到特征图C4;
模块1‑5用基础E5卷积层块对特征图C4卷积操作,得到特征图C5;
B构建特征图融合网络:
模块1‑6是卷积核大小为1×1的卷积层,对特征图C5卷积操作,得到特征图D5,用最近邻上采样法对特征图D5进行上采样,得到特征图K5;
模块1‑7是卷积核大小为1×1的卷积层,对特征图C4卷积操作与特征图K5叠加,连接卷积核大小为3×3的卷积层卷积操作,得到特征图D4,用最近邻上采样法对特征图D4进行上采样,得到特征图K4;
模块1‑8是卷积核大小为1×1的卷积层,对特征图C3卷积操作与特征图K4叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D3,用最近邻上采样法对特征图D3进行上采样,得到特征图K3;
模块1‑9是卷积核大小为1×1的卷积层,对特征图C2卷积操作与特征图K3叠加,连接卷积核大小为3×3的卷积层卷积操作得到特征图D2;
模块1‑10是卷积核大小为1×1的卷积层,对特征图C1卷积操作得到特征图D1;
模块1‑11是对特征图集合{D2,D3,D4,D5}分别进行扩大因子为1,2,4,8的最近邻上采样法上采样操作,得到的结果拼接融合为特征图R1;
模块1‑12是卷积核大小为3×3的卷积层,对特征图R1卷积操作,串联自注意力机制卷积层网络I,用最近邻上采样法进行上采样操作,与特征图D1叠加,其后连接3×3卷积核的平滑卷积层;
2)构建生成对抗网络模型的判别器D
判别器D的构建方法如下:
模块2‑1是基础H1卷积层依次连接基础H2卷积层、自注意力机制卷积层网络I,自注意力机制卷积层网络I的输入通道数为256;
模块2‑2基础H3卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到局部信息判别器的概率值Pl;
模块2‑3基础H4卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512;
模块2‑4基础H5卷积层连接自注意力机制卷积层网络I,自注意力机制卷积层网络I输入通道数为512,得到全局信息判别器的概率值Pg;
3)自注意力机制卷积层网络I的构建方法
上述的自注意力机制卷积层网络I的构建方法如下:
A构建注意力影响权重分布层
按下式得到自注意力机制的影响权重分布图αj,i:T
sij=f(xi) g(xj)
其中xi表示输入的特征图x上位置i的值,xj表示输入的特征图x上位置j的值,g(xj),f(xi)分别表示卷积核大小为1×1的卷积层对输入的特征图x上像素j,i卷积操作,i,j∈{1,
2,...,N},N是图像上的位置总数,N为有限的正整数,μ的值是10,ω的值是0.5;
B构建自注意力特征图层
按下式得到自注意力机制特征图oj:
其中h(xi)表示卷积核大小为1×1的卷积层对输入的特征图x上像素i卷积操作,αj,i是影响权重分布层得到的输出结果;
C构建输出层
按下式得卷积层输出yj:
yj=γoj+xj
其中oj是自注意力层的输出结果,γ表示可训练权重,被初始化为0,表示模型将探索局部空间信息;
(3)训练生成对抗网络
1)确定损失函数
损失函数Loss由下式确定:
LG=0.5×Lp+0.006×LX+0.01×Ladv其中Lp为均方误差损失,LX欧氏距离损失,Ladv对抗损失,Ladv由下式定义:
2 2
Ladv=Es~p(S)[(D(s)‑Eb~p(B)D(G(b))‑1) ]+Eb~p(B)[(D(G(b))‑Es~p(S)D(s)+1) ]其中s~p(S)表示从车牌清晰图片数据集S中取出清晰图片s,p(S)表示车牌清晰图片数据集S中的概率分布;b~p(B)表示从车牌模糊图片数据集B中取出模糊图片b,p(B)表示车牌模糊图片数据集B中的概率分布;D(s)表示判别器对输入的清晰图片s判别为真的概率,G(b)表示输入模糊图片b后生成器G的输出结果图片,D(G(b))表示判断生成器在输入模糊图片b后的输出是否为真的概率,E[·]表示对括号内部值取期望;
2)训练生成对抗网络的判别器D和生成器G
生成对抗网络的生成器G输入为训练集P中车牌模糊图片数据集B的模糊车牌图像,输出的图像作为生成对抗网络判别器D的输入,判别器D判断生成器G输出的图像是否是真实图像的概率,在训练判别器D和生成器G过程中,生成对抗网络的学习率γ为0.0001,优化器为自适应矩估计优化器,每次迭代使用图片的数量为Z,Z取值范围是[4,16],训练迭代直至生成对抗网络的损失函数Loss收敛;
(4)保存权重文件
每迭代M次保存一次相应的参数及权重文件,其中M取值范围是[100,10000];
(5)测试网络
将测试集Q中车牌模糊图片数据集B1中的模糊图像输入到基于自注意力机制的生成对抗网络模型,加载保存的参数和权重文件,输出清晰车牌图像。
2.根据权利要求1所述的基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于:在训练生成对抗网络的判别器D和生成器G步骤(3)的步骤2)中,所述的Z取值为8。
3.根据权利要求1所述的基于自注意力生成对抗网络的车牌运动模糊图像处理方法,其特征在于:在保存权重文件步骤(4)中,所述的M取值为5000。