利索能及
我要发布
收藏
专利号: 2022116171921
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种低光图像的曝光差增强方法,其特征在于该方法包括:S1:获取若干低光图像及对应的参考标准图像;

S2:对低光图像进行数据预处理;

S3:构建曝光差增强网络,包括相连接的曝光差模块和全局一致性引导的颜色调整模块,所述曝光差模块用于提取输入的低光图像和根据该低光图像生成的不同曝光系数的曝光图像之间的曝光差特征,所述颜色调整模块用于基于曝光差特征进行全局信息和颜色边缘纹理的捕捉,输出增强后的图像;

所述曝光差模块具体包括:

曝光图像生成单元,用于基于低光图像生成多张不同曝光系数的曝光图像;

卷积层,用于分别基于低光图像和多张曝光图像生成对应的基特征;

特征差分单元,用于将低光图像和多张曝光图像的基本特征进行差分,得到差分特征;

第一卷积特征提取器,由若干卷积层堆叠形成,用于基于所述差分特征提取差分卷积特征;

第二卷积特征提取器,与第一卷积层特征提取器结构相同,用于基于低光图像的基本特征提取基本卷积特征;

线性控制器,用于将所述差分卷积特征和所述基本卷积特征进行对齐整合,得到曝光差特征;

S4:将预处理后的低光图像和对应的正常光图像作为样本,对所述曝光差增强网络进行训练;

S5:将待增强的低光图像输入训练好的曝光差增强网络,得到增强后的图像。

2.根据权利要求1所述的低光图像的曝光差增强方法,其特征在于:所述S2具体包括:S2‑1:将低光图像分辨率调整至预设值;

S2‑2:将调整后的低光图像进行数据增广。

3.根据权利要求2所述的低光图像的曝光差增强方法,其特征在于:所述S2‑2具体包括:S2‑2‑1:将低光图像以预设概率进行随机水平翻转;

S2‑2‑2:将低光图像以预设概率进行随机垂直翻转;

S2‑2‑3:将低光图像进行随机裁剪。

4.根据权利要求1所述的低光图像的曝光差增强方法,其特征在于:所述S3中的颜色调整模块具体包括:平均池化层,用于基于曝光差特征获得低频特征;

相连的卷积层和多头注意力机制单元,用于基于低频特征得到全局一致性特征;

线性层,用于将全局一致性特征进行线性变换;

矩阵变换器,用于将线性变换后的全局一致性特征转换为特征矩阵;

乘法器,用于将维度变换后的曝光差特征与矩阵变换器输出的特征矩阵进行乘法运算,得到增强后的图像。

5.根据权利要求1所述的低光图像的曝光差增强方法,其特征在于:所述特征差分单元的差分通过以下公式实现:式中,Fe表示差分特征, 表示卷积操作,cat(·)是沿通道维进行特征聚合操作,FI、分别表示低光图像、第j张曝光图像的基本特征,l表示曝光图像的数目, 表示中间特征。

6.根据权利要求1所述的低光图像的曝光差增强方法,其特征在于:所述线性控制器的对齐整合通过以下公式实现:Is=aFd+b+Id

式中,a和b分别表示参数系数,Is表示曝光差特征,Fd、Id分别表示差分卷积特征和所述基本卷积特征。

7.根据权利要求1所述的低光图像的曝光差增强方法,其特征在于:所述S4具体包括:S4‑1:将预处理后的低光图像和对应的参考标准图像划分为训练集和验证集;

S4‑2:初始化学习速率;

S4‑3:将训练集输入曝光差增强网络,基于网络的输出和对应的参考标准图像计算网络损失,并基于网络损失使用Adam优化器对网络参数进行优化;

S4‑4:基于使得验证集损失最小的网络参数,作为最优网络参数;

S4‑5:使用所述最优网络参数初始化曝光差增强网络,完成网络训练。

8.根据权利要求7所述的低光图像的曝光差增强方法,其特征在于:所述S4‑3中的网络损失的计算方法具体包括:S4‑2‑1:按照下式计算平滑损失:

式中,Lsmooth是平滑损失,Iout是网络的输出图像,Igt是对应的参考标准图像;

S4‑2‑2:按照下式计算感知质量损失:式中, 是感知质量损失,ψi(x)是从输入为x的VGG16网络中提取的第i层特征图,ci、hi和wi分别表示第i层特征图的通道数,高度和宽度;

S4‑2‑3:按照下式计算风格化损失:式中, 是风格化损失,φj(·)是从VGG16网络中提取的第j层的特征图,N是总层数;

表示VGG16第j层的归一化因子,Cj、Hj和Wj分别表示第j层特征图的通道数,高度和宽度;Iout和Igt分别表示网络的输出图像和对应的参考标准图像;

S4‑2‑4:按照下式计算全局鉴别器对抗损失:计算全局鉴别器的对抗损失:

式中, 为全局鉴别器的对抗损失,Dv(·)为全局鉴别器, 为变量x的期望;

计算全局鉴别器损失:

式中, 为全局鉴别器损失;

S4‑2‑5:按照下式计算网络损失:

式中, 为网络损失,λ1,λ2,λ3为超参。

9.一种低光图像的曝光差增强装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1‑8中任意一项所述的方法。