1.一种鲁棒的增量低光图像增强方法,其特征在于,该方法包括:步骤S1:构建增量样本库,采集一系列低光图像数据集以及相应的正常光图像,每个域数据集包含训练数据集、验证数据集及测试数据集,并确定增量样本库中不同域数据集的训练顺序;
步骤S2:构建域增量低光图像增强模型,以适应不同上下文的低光图像增强需求,模型包括特征注意力一致性模块和对抗扰动模块;
步骤S3:按照训练顺序获取当前需要训练的样本域,实时对样本域进行预处理;
步骤S4:利用经过预处理的训练数据集,对域增量低光图像增强模型进行训练,如果当前训练阶段为基训练阶段,则将当前样本域输入模型;如果当前训练阶段为增量训练阶段,则将当前样本域分别输入上一增量阶段冻结的旧域模型和当前阶段新域模型,之后将两个模型输出的图像输入动态判别器网络进行对抗学习;
步骤S5:采用当前样本域验证集筛选出在测评指标上最高的域增量低光图像增强模型并保存;
步骤S6:采用所有旧域和当前域测试集对模型进行全面测试,评估增强效果和遗忘率,并使用当前模型参数更新下一增量阶段模型参数;
步骤S7:返回执行步骤S3,直至完成针对所有域的训练,获得最终的域增量低光图像增强模型;
所述步骤S2中,所述域增量低光图像增强模型包括特征注意力一致性模块和对抗扰动模块,所述特征注意力一致性模块,关注当前域特征的重要部分,保留旧域细粒度特征知识;所述对抗扰动模块,保留旧域粗粒度表征知识;
所述步骤S4中,采用经过预处理的训练数据集,对域增量低光图像增强模型进行训练包括:步骤S4‑1:设置训练参数,如果当前阶段为基训练阶段,对域增量低光图像增强模型进行随机初始化,如果是增量训练阶段,则直接采用上一增量阶段训练得到的网络参数进行初始化;
步骤S4‑2:在每个训练阶段,随机初始化一个可学习的注意力和一个可学习的扰动;
步骤S4‑3:在基训练阶段,将预处理好的训练集输入当前域模型进行训练,保存训练好的模型参数,在增量训练阶段,将同一批次的样本输入冻结的旧域模型和新域模型进行训练;
步骤S4‑4:在基训练阶段,经过特征提取器得到多尺度特征,对每个特征图首先进行第一组操作:首先经过池化操作,获得低频特征,之后将上一层特征与当前特征相乘,进行特征之间交互,再将得到的特征进行卷积、激活函数、维度扩展,获得显著性特征,再将其与可学习注意力相乘;在增量训练阶段,第一组操作与基训练阶段的第一组操作相同;
步骤S4‑5:在基训练阶段,进行第二组操作:将第一组操作得到的注意力特征进行求平均、卷积和激活函数操作,之后将得到的降维特征叠加至下一层;在增量训练阶段,第二组操作与基训练阶段的第二组操作相同,此外,利用当前阶段可学习注意力与上一阶段冻结的注意力计算特征注意力一致性损失;
步骤S4‑6:在基训练阶段,只需将得到的输出图像计算原始损失函数;在增量训练阶段,将当前阶段模型的视觉输出图像叠加一个可学习扰动,之后分别将叠加了扰动的图像和上一增量阶段模型输出的视觉图像输入动态判别器网络进行对抗学习,之后使用判别器的输出结果计算相对对抗损失;
步骤S4‑7:结合步骤S4‑5和S4‑6所计算的损失,对整个网络参数进行优化;
所述步骤S4‑5中,利用当前阶段可学习注意力与上一阶段冻结的注意力计算特征注意力一致性损失,具体实现如下:首先,当前增量阶段t的低光训练数据集为 其中 表示低光图像,表示相对应的正常光图像,Nt表示当前域样本数量,将 分别输入特征提取器 和冻结的特征提取器 采用下式提取中间隐藏层特征:式中,L表示特征隐藏层的数量; 表示增强的低光图片; 表示第i个隐藏层,i属于
1,……,L‑1,L;指一个嵌套函数,其中 根据特征提取器获得
1 2 L
的相对应的隐藏层特征为,Ft={ft ,ft ,…,ft}其中对每个增量阶段引入一个可学习的注意力A,当前增量阶段注意力为At,将上一个增量阶段注意力At‑1引导当前增量阶段注意力的学习,保留旧域重要特征知识,使用基于均方误差的特征注意力一致性损失优化模型,公式如下:式中, 表示第t个增量阶段的特征注意力一致性损失;
所述步骤S4‑6中,使用判别器的输出结果计算相对对抗损失,具体实现方式如下:首先,将旧域模型的视觉输出定义为真实样本,新域模型的视觉输出定义为生成的样本,对新域模型的视觉输出叠加一个可学习的扰动Rt,旨在损害图像质量;之后将叠加扰动的生成样本和真实样本输入动态判别器,将上一增量阶段冻结的旧域模型的输出表示为:新域模型的输出表示为: 将其进行对抗训练;
在增量阶段t,为优化生成器,即特征提取器 基于最小二乘法的相对对抗损失,公式如下:t t t
式中, 表示对输入数据x的期望值,p(x)代表输入数据x的真实概率分布;
在增量阶段t,为优化判别器 基于最小二乘法的相对对抗损失,公式如下:式中,生成器 尝试去最小化目标函数 而对抗判别器 尝试去最大化它。
2.根据权利要求1所述的一种鲁棒的增量低光图像增强方法,其特征在于:所述步骤S1中,确定增量样本库中不同域数据集的训练顺序,具体如下:在增量学习设置下,从增量样本库中随机选择一个域数据集作为基数据集,进行第一次训练,将剩余的域数据集作为增量域,依次从剩余的增量样本库中选择单一域数据集作为下一次训练的域数据集。
3.根据权利要求1所述的一种鲁棒的增量低光图像增强方法,其特征在于:所述步骤S3中,实时对样本域进行预处理的方法具体如下:步骤S3‑1:将低光图像以预设概率进行随机水平和垂直翻转;
步骤S3‑2:将低光图像进行统一大小的裁剪;
步骤S3‑3:将低光图像转换为张量,数据类型转换为float;
步骤S3‑4:对低光图像的每个像素进行标准化处理以使得像素值落在[‑1,1]范围内。
4.根据权利要求1所述的一种鲁棒的增量低光图像增强方法,其特征在于:所述步骤S4‑7中,为优化骨干网络,即特征提取器 总的损失 为以下公式:式中, 表示第t个增量阶段骨干网络的原始损失函数,γ和δ是两个超参数, 表示第t个增量阶段的特征注意力一致性损失, 表示在增量阶段t的基于最小二乘法的相对对抗损失;
为了优化动态判别器 网络,总的损失 为以下公式:
式中,η是一个超参数, 为在增量阶段t为优化判别器 使用基于最小二乘法的相对对抗损失。
5.根据权利要求1所述的一种鲁棒的增量低光图像增强方法,其特征在于:所述步骤S6中,采用测试数据集对模型进行全面测试,评估增强效果和遗忘率,在当前域模型训练完后,利用训练得到模型参数来初始化下一增量阶段的模型参数。
6.一种鲁棒的增量低光图像增强装置,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1‑5中任意一项所述的方法。