利索能及
我要发布
收藏
专利号: 2024100972223
申请人: 盐城工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.融合交叉混合注意力和感受野扩张的低光照图像增强方法,其特征在于,包括:S1:获取低光照图像数据集;

S2:基于初始模块中的2个不同的U型网络,并经过多层卷积,将低光照图像数据集中的低光照图像分解为反射分量和光照分量;

S3:利用优化网络模块中的多尺度光照机制和低光照图像中的反射分量和光照分量,增强低光照图像数据集中的低光照图像的图像亮度,同时进行去噪,获得最终的输出特征图;

S4:基于多层卷积融合交叉混合注意力机制,将通道、空间、纵向和横向关注度四个方面的信息进行过滤,减少最终的输出特征图在增强过程中的负面影响,获得交叉混合注意力特征图;

S5:利用细节恢复模块中的感受野扩张机制增强交叉混合注意力特征图的感受野,强化细节信息,获得细节特征图,同时使用色彩一致性损失函数对交叉混合注意力特征图进行色彩恢复,获得低光照图像数据集的图像增强结果;

其中,在步骤S2中,

反射分量的U型网络和光照分量的U型网络都由3*3的卷积、rule函数和最大池化构成;

基于2个不同的U型网络,从输入的低光照图像中提取输出通道分别为32和64的特征图,再经过输出通道为128的瓶颈层特征图保留输入的低光照图像的重要特征;

使用concat和反卷积对所有特征图进行上采样,恢复输入的低光照图像的图像信息,从而构成光照分量U型网络;

反射分量U型网络,在光照分量U型网络的基础上,再使用一个3*3、激活函数为rule的卷积进行特征提取,形成最终的反射分量U型网络,之后喂入sigmoid函数约束反射分量,提取出照明分量;

其中,S3:利用优化网络模块中的多尺度光照机制和低光照图像中的反射分量和光照分量,增强低光照图像数据集中的低光照图像的图像亮度,同时进行去噪,获得最终的输出特征图,包括:多尺度光照机制由光照调整模块和多尺度采样模块执行;

将光照分量送入网络,通过一个3×3卷积和sigmoid函数进行光照调整并获取光照信息,将输入特征图和光照信息相乘;

多尺度采样模块从光照调整模块获取第一层特征图;

利用3×3获取通道数的卷积、归一化和rule函数,获取第二层特征图;

第三层特征图由最大池化、3×3获取通道数的卷积、归一化、rule函数和2×2获取通道数反卷积构成;

第四层卷积由最大池化、1×1获取通道数卷积、归一化、relu函数、两个2×2获取通道数反卷积构成;

获取通道数卷积,利用通道信息获取细节信息;

将四层特征图进行堆叠,通过一个1×1卷积得到最终的输出特征图;

其中,S4:基于多层卷积融合交叉混合注意力机制,将通道、空间、纵向和横向关注度四个方面的信息进行过滤,减少最终的输出特征图在增强过程中的负面影响,获得交叉混合注意力特征图,包括:基于通道注意力机制和输入特征图的通道数计算自适应卷积核的大小,通过全局平均池化后,利用一维卷积代替全连接层;

通道注意力机制无大量卷积结构,用更少的参数量实现跨通道信息交互;

空间注意力机制对特征图进行空间域处理;通过最大池化和平均池化后,进行堆叠,使用二维卷积融合空间特征信息,利用sigmoid函数进行归一化处理;

通道注意力机制和空间注意力机制都将输入特征图和相关权重相乘后输出;

通道注意力机制和空间注意力机制合并将各自输出特征图送入行列注意力机制,获得交叉混合注意力特征图;

其中,通道注意力机制和空间注意力机制合并将各自输出特征图送入行列注意力机制,获得交叉混合注意力特征图,包括:通过reduce_mean函数计算特征图行的图像平均值,再利用二维卷积和softmax函数计算行关注度和列关注度,得到行列注意力图时,将行列注意力图中的行列关注度信息进行共享并堆叠,最终输出交叉混合注意力特征图;

其中,S5:利用细节恢复模块中的感受野扩张机制增强交叉混合注意力特征图的感受野,强化细节信息,获得细节特征图,同时使用色彩一致性损失函数对交叉混合注意力特征图进行色彩恢复,获得低光照图像数据集的图像增强结果,包括:通过最近邻插值的堆叠,获得丰富的特征信息,经过感受野扩张机制的上下文信息获取,强化特征细节;

感受野扩张机制由五条分支构成,其中四条分别利用1×1卷积、1×3卷积和3×1卷积获取不同大小的特征图;

利用膨胀率为1、3、5的膨胀卷积扩大感受野,提取图像中不同尺度和位置的特征,增强神经元对输入数据的响应;

将四个不同膨胀率的特征图进行堆叠,通过1×1卷积进行融合,最终和经过1×1卷积之后的前层特征图进行相加,输出细节特征图;

并利用色彩一致性损失函数将色彩信息进行矫正恢复,获得低光照图像数据集的图像增强结果;

其中,色彩一致性损失函数,包括:

其中,色彩一致性损失函数由反射分量损失 光照损失 一致性损失 和误差损d失 构成,初始模块总损失函数为L ;优化模块损失函数由均方误差损失函数MSE、结构相e似性损失函数SSIM和梯度损失函数Grad构成,优化模块总损失函数为L ;细节恢复模块损失函数由色彩一致性损失函数color构成;||·||1为范式L1;Rl为低光照图像的反射分量,Rh为正常光图像的反射分量;Il为低光照图像的光照分量,Ih为正常光图像的分量;Ll为低光照图像,Lh为正常光图像; 为水平和垂直方向的一阶导数算子;ε为0.01,以避免分母为零;|·|为绝对值;c为颜色通道的数量。

2.根据权利要求1所述的融合交叉混合注意力和感受野扩张的低光照图像增强方法,其特征在于,在步骤1中,获取LOL数据集,LOL数据集由拍摄于真实世界环境的低光照图像和正常光图像组成,共有500对低光照图像和正常光图像;

在LOL数据集中筛选出低光照图像数据集。

3.根据权利要求2所述的融合交叉混合注意力和感受野扩张的低光照图像增强方法,其特征在于,LOL数据集中筛选出低光照图像数据集,包括:计算出LOL数据集中每个图像中的所有像素点的亮度值之和,作为每个图像的亮度值总和;

确定出LOL数据集中每个图像中的最大亮度值和最小亮度值;

计算出每个图像中的最大亮度值和最小亮度值之间的差值与预设比例的乘积,作为每个图像的亮度筛选阈值累加值;

将每个图像的最小亮度值和亮度筛选阈值累加值之和,当作每个图像的亮度筛选阈值;

基于每个图像的亮度筛选阈值,在每个图像中筛选出不超出亮度筛选阈值的像素点总数,作为每个图像的低光照像素点总数;

基于LOL数据集中每个图像的亮度值总和与低光照像素点总数,在LOL数据集中筛选出低光照图像数据集。

4.根据权利要求3所述的融合交叉混合注意力和感受野扩张的低光照图像增强方法,其特征在于,基于LOL数据集中每个图像的亮度值总和与低光照像素点总数,在LOL数据集中筛选出低光照图像数据集,包括:基于LOL数据集中每个图像中包含的像素点总数和预设比例,计算出低光照像素点总数阈值;

基于LOL数据集中每个图像中包含的像素点总数和单位像素点的预设低光照亮度值,计算出每个图像的低光照亮度值总和阈值;

在LOL数据集中筛选出亮度值总和不超出低光照亮度值总和阈值且低光照像素点总数不小于第光照像素点总数阈值的图像并汇总,获得低光照图像数据集。