利索能及
我要发布
收藏
专利号: 2024104891117
申请人: 重庆理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于全局‑局部光照感知的低光图像增强方法,其特征在于,包括如下步骤:

S1、将原始低光图像通过第一卷积层进行初步特征提取,得到基础特征;

S2、将基础特征输入由多个Block组成的编解码结构中进行增强,得到深层特征;每个Block内部包括一个多级特征提取模块和一个多级注意力融合模块,所述多级特征提取模块用于进行全局信息和局部信息的提取,所述多级注意力融合模块用于对全局信息和局部信息进行筛选及向后传递;

所述多级特征提取模块中全局信息的提取,通过基础特征分别经过基于高度轴的多头自注意特征提取模块和基于宽度轴的多头自注意特征提取模块,分别提取高度轴特征、宽度轴特征,获取图像的整体光照特征;

所述基于高度轴的多头自注意特征提取模块和基于宽度轴的多头自注意特征提取模块,特征提取过程如下:输入的基础特征均首先经过三组线性映射以生成Query、Key、Value矩阵,随后通过重塑Query和Key,分别生成高度轴的注意力图和宽度轴的注意力图,该注意力图用于引导全局光照特征的重建;

所述多级特征提取模块中局部信息的提取,通过基础特征经过基于卷积神经网络构建的图像局部特征提取模块,提取局部特征,获取图像的局部分布特性且感知图像的局部亮度;

所述多级注意力融合模块,特征融合过程如下:

首先引入三个可调参数α、β、γ,用于对高度轴特征、宽度轴特征及局部特征进行加权和甄别,确保保留用于图像增强的全局信息和局部信息且压缩其他信息;随后将经过筛选的特征通过concat操作进行合并形成融合特征;其后利用全局平均池化操作进行关键特征的提纯;最终通过残差学习策略处理获取到最终的深层特征;

S3、将深层特征通过输入第二卷积层得到亮度差,并采用残差连接将深层特征与原始低光图像进行融合,得到增强图像;

S4、将增强图像输入基于密集残差连接的图像降噪网络,用于对增强图像进行降噪;

所述基于密集残差连接的图像降噪网络,增强图像的降噪过程如下:

使用一个5×5卷积层来提取输入的增强图像的浅层特征,提取的浅层特征被送入两个连续的密集残差块进行深层次的处理;

每个密集残差块由两个3×3卷积层和一个1×1卷积层构成;在密集残差块中,输入特征不仅经过第一个3×3卷积层,还与第一个3×3卷积层、第二个3×3卷积层和1×1卷积层的输出特征进行密集融合,且第一个3×3卷积层的输出特征也与第二个3×3卷积层的输出特征进行融合;

经过两个密集残差块处理后的输出特征再经过一个5×5 卷积来获取相应的图像,该图像再与开始的输入的增强图像融合得到最终的降噪图像。

2.根据权利要求1所述的基于全局‑局部光照感知的低光图像增强方法,其特征在于,所述基于卷积神经网络构建的图像局部特征提取模块,具体结构如下:由两个3×3的卷积层和一个PReLU激活层组成,用于提取局部特征。

3.根据权利要求1所述的基于全局‑局部光照感知的低光图像增强方法,其特征在于,所述全局平均池化操作,通过一个全局平均池化层、两个1×1卷积层、一个ReLU激活层以及一个Sigmoid层来完成。

4.应用于权利要求1‑3任一所述方法的基于全局‑局部光照感知的低光图像增强系统,其特征在于,所述低光图像增强系统采用LightenTCN的网络结构,该网络结构包括第一卷积层、编码器、解码器、第二卷积层和增强图像降噪模块;

所述第一卷积层,为3×3的卷积层,用于对原始低光图像进行初步特征抽取,得到基础特征;

所述编码器和解码器,由7个block组成,每个Block内部包含一个多级特征提取模块和一个多级注意力融合模块,7个block之间引入跳跃连接技术,用于特征的融合和传递;用于对具有基础特征图像进行全局信息和局部信息提取,且相应对全局信息和局部信息进行筛选及向后传递,得到深层特征;

所述多级特征提取模块包括基于高度轴的多头自注意特征提取模块、基于宽度轴的多头自注意特征提取模块和基于卷积神经网络构建的图像局部特征提取模块;

所述多级注意力融合模块包括特征加权模块、concat操作模块、全局平均池化操作模块和残差学习策略模块;

所述第二卷积层,为3×3的卷积层,用于对深层特征处理得到亮度差;深层特征得到亮度差后采用残差连接与原始低光图像进行融合,得到增强图像;

所述增强图像降噪模块,为基于密集残差连接的图像降噪网络,用于对增强图像进行降噪。