1.一种基于曲线学习和Transformer的图像增强方法,其特征在于,包括以下步骤:步骤1,将低照度图像增强具化为低照度图像到正常光照图像的对应像素映射;
步骤2,构建Vision Transformer的网络模型,提取低照度图像中局部特征以及全局的关系;
步骤3,获取低照度图像中像素值等于指定值的所有坐标,然后取出在对应正常光照图像这些坐标上所有像素,并以这些像素中出现频率最高的值作为低照度图像中指定像素增强后所对应的参考像素值;
步骤4,使用L1‑Loss作为主损失函数,并添加输出向量,即像素对应关系的二阶梯度正则;在LOLdataset数据集上训练深度网络模型直至收敛;
步骤5,将需要增强的低照度图像输入训练好的网络模型中,输出像素变换曲线,使用该曲线对输入的低照度图像进行变换,得到增强图像;
步骤6,结合BM3D去噪算法,以步骤5中模型输出的像素变换曲线的梯度和像素值为参考,对步骤5中的增强图像各区域进行不同程度的去噪处理;
所述步骤2中具体步骤如下:
(21)将低照度图像切分为不同的图像块,并将每个图像块展平为一维向量,每个向量加上位置编码,并拼接上一个可训练的像素映射向量;
(22)输入Vision Transformer主体框架中,利用多头注意力机制学习低照度图像的特征与不同图像块之间的关系;最后提取出像素映射向量,作为网络的输出结果;
所述步骤4中具体步骤如下:
(41)用 表示深度网络模型的输出,即像素的映射关系,M表示模型训练的参考值,计算两个向量的L1‑Loss作为主损失函数项,并添加 的拉普拉斯正则,如下式所示:其中, 和M为一维向量, 表示所提出网络模型输出的像素变换曲线; 分别表示和M的第i元素, 为 的前一个元素和后一个元素;
(42)在公开数据集LOLDataset上训练深度网络,对损失函数进行反向传播,使得网络逐渐收敛。
2.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法,其特征在于,所述步骤1中,将低照图像和正常光照图像的映射关系简化为像素的映射关系,并用一个包含256个元素的一维向量表示,如下式所示:Output(x,y)=V[Input(x,y)],
T
V=[m0,m1,m2,…,m255]
其中,Output(x,y)表示增强后的图像在(x,y)坐标处的像素值,Input(x,y)表示输入图像在(x,y)处的像素值;V为一维向量,其元素m0,m1,m2,…,m255依次表示低照度图像中像素0,1,2,…,255对应在正常光照图像中的像素值。
3.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法,其特征在于,所述步骤3中具体步骤如下:(31)建立一个256*256大小的矩阵A,其中行坐标表示低照度图像中像素值,列坐标表示其所对应的正常光照图像中像素,元素值表示行坐标的像素值对应到列坐标像素值的个数,如下式所示:其中P(x=i)表示低照度图像中像素值为i的元素的坐标,V(·)表示正常光照图像在坐标“·”处的像素值,C(v=j)表示像素值等于j的数量;
(32)建立一个256个元素的一维向量M,取矩阵A每行值最大的列坐标作为M的元素值,M作为模型训练的参考值。
4.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法,其特征在于,所述步骤5中,具体步骤如下:(51)将需要增强的低照度图像输入训练好的网络模型中,模型输出像素变换曲线(52)使用模型输出的曲线 对低照度图像进行曲线变换,如下式所示:其中L(x,y)表示输入的低照度图像L在坐标(x,y)处的像素值, 表示增强后的图像 在(x,y)处的像素值。
5.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法,其特征在于,所述步骤6中,具体步骤如下:(61)对增强图像 使用BM3D去噪算法,对图像进行全局的去噪,得到去噪图像(62)根据变换曲线的斜率确定一个权重系数W,W与曲线的斜率正相关,与像素值的大小负相关;
(63)使用权重系数W将增强图像 和去噪图像 融合,过程表示为:式中,I即为最终的输出结果。