1.基于傅里叶变换Transformer网络的低光图像增强方法,其特征在于,该方法包括:S1:获取若干低光图像及对应的参考标准图像;
S2:对低光图像进行数据预处理;
S3:构建傅里叶变换Transformer网络,所述傅里叶变换Transformer网络是U型结构网络,包括Transformer层、下采样层和上采样层,每个Transformer层包括基于傅里叶变换的多头注意力模块、局部特征增强的前馈网络,所述基于傅里叶变换的多头注意力模块用于提取低光图像的全局信息以初步恢复亮度,所述局部特征增强的前馈网络提取低光图像的局部信息进一步恢复图像的纹理特征;
S4:将S2预处理后的低光图像和对应的正常光图像作为样本,对所述傅里叶变换Transformer网络进行训练;
S5:将待增强的低光图像输入训练完成的傅里叶变换Transformer网络,得到增强后的图像;
所述S3中的基于傅里叶变换的多头注意力模块具体包括:傅里叶变换层,用于对低光图像特征进行傅里叶变换,将其从空间域转换到频域上;
频域特征提取器,由两个卷积层、一个激活函数和一个用于融合特征的卷积层组成,用于提取频域特征;
多头注意力单元,用于把所述频域特征提取器的频域特征作为查询和关键字,计算低光图像的频域特征注意力图,令空间域上的特征和频域特征注意力图做矩阵乘法,以提取低光图像的全局特征;
位置编码层,由两个卷积层和一个激活函数组成,用于记录特征的相对位置信息;
所述傅里叶变换层通过以下公式实现:
X(u,v)=R(X(u,v))+jI(X(u,v))式中,F(·)表示傅里叶变换函数将输入特征x转换到频域X上,H和W分别是输入特征x的长和宽,h,w是空间域上的坐标,u,v是频域上的坐标,j是虚数单位,R(·)和I(·)分别为X(u,v)的实部和虚部;
所述频域特征提取器通过以下公式实现:
1 2
R'=φ (R),I'=φ (I)
Ffreq=conv(cat(R',I'))
1 2
式中,φ (·)和φ (·)分别表示对实部和虚部处理的带有一个激活函数的两个卷积层,R'代表处理后的实部,I'代表处理后的虚部,cat(·)是沿通道维进行特征聚合操作,conv是一个卷积层,完成特征融合操作,Ffreq代表所述频域特征提取器提取到的频域特征;
所述多头注意力单元通过以下公式实现:
式中,WQ,WK,WV表示全连接层的可学习参数,Τ表示矩阵转置,Q是查询,K是关键字,V是值,α是一个可学习的参数,softmax表示SoftMax函数,x是输入特征,Ffreq代表所述频域特征提取器提取到的频域特征。
2.根据权利要求1所述的基于傅里叶变换Transformer网络的低光图像增强方法,其特征在于:所述局部特征增强的前馈网络通过以下公式实现:式中,xin表示输入, 分别表示对特征沿通道维度升维和降维的操作,conv是一个的卷积,FFFN是局部特征增强网络的输出特征。
3.根据权利要求1所述的基于傅里叶变换Transformer网络的低光图像增强方法,其特征在于:所述S4具体包括:S4‑1:将预处理后的低光图像和对应的参考标准图像划分为训练集和验证集;
S4‑2:初始化学习速率;
S4‑3:将训练集输入傅里叶变换Transformer网络,基于网络的输出和对应的参考标准图像计算网络损失,并基于网络损失使用Adam优化器对网络参数进行优化;
S4‑4:基于使得验证集损失最小的网络参数,作为最优网络参数;
S4‑5:使用所述最优网络参数初始化傅里叶变换Transformer网络,完成网络训练。
4.根据权利要求3所述的基于傅里叶变换Transformer网络的低光图像增强方法,其特征在于:所述S4‑3中的网络损失的计算方法具体包括:S4‑3‑1:按照下式计算L1损失:
式中,Iout是网络的输出图像,Igt是对应的参考标准图像;
S4‑3‑2:按照下式计算渐进结构损失:
式中,SSIM(·)是结构相似性损失;
S4‑3‑3:按照下式计算网络损失:
式中, 为网络损失,λ1为超参。
5.基于傅里叶变换Transformer网络的低光图像增强装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1‑4中任意一项所述的方法。