利索能及
我要发布
收藏
专利号: 2024109116350
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,包括以下步骤:S1、将预设的训练图像缩放至n×n大小,对其R、G、B三颜色通道计算得到色彩校正因子,将缩放后的训练图像及其色彩校正因子输入预设的增强曲线估计网络,增强曲线估计网络至少包括:三个3×3的浅层特征提取卷积层、两个结构相同的动态特征提取模块、一个通道注意块以及一个像素注意块;其中,动态特征提取块至少包括:三个3×3卷积层、一个ReLU激活函数层、一个通道注意块以及一个像素注意块;通道注意块至少包括:两个1×1卷积层、一个平均池化层、一个ReLU激活函数层以及一个Sigmoid激活函数层;像素注意块至少包括:两个3×3卷积层、一个ReLU激活函数层以及一个Sigmoid激活函数层;根据预设的曲线表达式得到每个像素每次迭代时相应的增强曲线,通过色彩校正因子对增强曲线进行修正,对缩放后的训练图像通过修正后的增强曲线迭代k次,得到初步的增强结果;其中,

128≤n≤512,且n为16的整数倍;2≤k≤10;

S2、对修正后的增强曲线的参数矩阵和初步的增强结果计算无参考损失,根据反向传播方法对增强曲线估计网络进行预设的训练轮数的训练;

S3、计算预设的测试图像的色彩校正因子,并将测试图像及其色彩校正因子输入训练后的增强曲线估计网络得到测试图像对应的增强曲线,通过测试图像的色彩校正因子对增强曲线进行修正,对测试图像通过修正后其对应的增强曲线迭代k次,得到最终的增强图像。

2.根据权利要求1所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S1具体为:S1a、对缩放后的训练图像R、G、B三颜色通道中的每个像素,依据其所在通道像素值的最大值和最小值计算得到其对应的色彩校正因子;

S1b、缩放后的训练图像及其色彩校正因子拼接并输入增强曲线估计网络,预测得到每次迭代后生成的增强曲线;

S1c、通过色彩校正因子对增强曲线进行修正,对缩放后的训练图像通过修正后的增强曲线迭代k次,得到初步的增强结果。

3.根据权利要求2所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S2具体为:S2a、根据修正后的增强曲线的参数矩阵和初步的增强结果计算无参考损失,并通过无参考损失进行加权表示总损失函数值,无参考损失具体包括四类损失函数,分别为邻域对比度损失、全局色彩损失、亮度损失以及增强平滑损失;

S2b、根据总损失函数值通过反向传播方法对增强曲线估计网络进行预设的训练轮数的训练。

4.根据权利要求3所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S1a具体为:色彩校正因子的定义为:对于坐标为(i,j)的像素I(i,j),其对应的色彩校正因子定义为:其中,MAX和MIN分别为标准化后的像素值范围,φ和 分别表示R、G、B三颜色通道中的最大值和最小值;

分别从R、G、B三颜色通道中计算并整合得到总体的色彩校正因子ψ(i,j)为:其中,ψR(i,j)、ψG(i,j)、ψB(i,j)分别为像素I(i,j)在R、G、B三颜色通道中分别对应的色彩校正因子,ψ的尺寸为3×n×n。

5.根据权利要求4所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S1b具体为:将缩放后的训练图像及其色彩校正因子拼接后输入增强曲线估计网络;

对于缩放后的训练图像及其色彩校正因子拼接后的输入,首先使用一个3×3卷积提取出浅层特征F,对F依次通过两个结构相同的动态特征提取模块,其中的第二个动态特征提取模块以第一个动态特征提取模块的输出作为输入,在第一个动态特征提取模块中,首先对F进行包括一个3×3卷积层和ReLU激活函数的残差映射,得到特征Fr:将Fr通过一个3×3卷积层,再计算其通道和像素注意力并进行特征加权,以及一个跳跃连接,得到注意力筛选出的特征Fatt:其中,PA和CA分别为像素注意块和通道注意块;

在通道注意力加权中,对于第c个通道的特征Fc,进行全局平均池化,随后经过两个1×1卷积层和Sigmoid以及ReLU激活函数,得到其权重 表示为:其中,GAP为全局平均池化,σ为Sigmoid激活函数;

将每个通道的特征和其对应权重相乘,完成对不同通道特征的自适应选择,其中,对于第c个通道的特征Fc和其对应权重相乘,表示为:其中, 为经过第c个通道加权的特征;

对经过通道加权的特征 进行像素注意力加权和选择:对经过通道加权的特征 通过两个3×3卷积层和Sigmoid以及ReLU激活函数,得到特征图中所有像素的权重 进行一次*跳跃连接,得到像素注意块的输出特征F,表示为:

*

动态特征提取模块中,特征F即为通过注意力筛选出的特征Fatt,将Fatt通过一个3×3卷积层以及跳跃连接,得到第n个动态特征提取模块的输出特征Fn,表示为:将两个动态特征提取模块提取到的不同深度的特征通过注意力运算进行动态聚合,得到最终提取到的特征Fagg,表示为:将Fagg通过两个3×3的后处理卷积层,预测得到尺寸为3k×n×n的增强曲线的参数矩阵 对应于低光图像每个颜色通道中每个像素的k次迭代过程的增强曲线。

6.根据权利要求5所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S1c具体为:通过色彩校正因子修正增强曲线,得到最终的增强曲线的参数矩阵 为:其中,i表示图像的第i次迭代增强;

依据预设曲线表达式得到相应的增强曲线,对缩放后的训练图像通过修正后的增强曲线迭代,修正后的增强曲线表示为:其中,Yi表示第i次迭代增强后的图像;

每一次迭代增强都以前一次迭代增强的输出作为输入,经过k次迭代后输出初步的增强结果。

7.根据权利要求6所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S2a具体为:计算初步的增强结果和缩放后的训练图像之间的邻域对比度损失Lnc:其中,A为图像中划分出的大小为4×4的局部区域个数,N4(i)表示以区域i为中心的上、下、左、右四个相邻区域,Y和I分别表示初步的增强结果和缩放后的训练图像的局部区域强度平均值;

对初步的增强结果分别计算全局色彩损失Lrgb以及亮度损失Lbr;其中,全局色彩损失Lrgb的计算方法表示为:其中,Ym和Yn分别表示m和n颜色通道的平均亮度;

亮度损失Lbr的计算方法表示为:

其中,M是大小为16×16的不重叠局部区域的个数,Yk是每个局部的平均亮度;E是常数,代表一个可视度良好的亮度水平;

对修正后的增强曲线的参数矩阵计算增强平滑损失LTV,表示为:其中,N代表训练时的batch大小, 和 分别表示水平和垂直方向的梯度, 是修正后的增强曲线的参数矩阵;

最终,总损失函数Ltotal表示为以上四项损失函数的加权和,表示为:Ltotal=αLnc+Lrgb+βLbr+γLTV

其中,α,β,γ均为控制损失项权值的常数。

8.根据权利要求3所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,S2b具体为:‑4

在得到总损失函数值后,使用ADAM优化器以1e 的学习率根据总损失函数值通过反向传播方法对增强曲线估计网络进行预设的训练轮数的训练。

9.根据权利要求1所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,n取256。

10.根据权利要求1所述的基于动态特征聚合和色彩校正的零样本低光图像增强方法,其特征在于,k取8。