利索能及
我要发布
收藏
专利号: 2022106449663
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,具体包括以下步骤:从历史数据中获取原始图像,以及原始图像对应的合成的低照度图像,将原始图像作为正常光图像,将合成的低照度图像作为低照度图像;

将低照度图像的V通道图像以及正常光图像对输入DecomNet中,得到正常光图像的光照和反射率,以及低照度图像的光照、反射率;

得到的低照度图像的反射率以及光照输入到RestorationNet中,用光照引导反射率降噪,得到降噪以后的反射率;

将低照度图像的反射率以及光照输入到EnhanceNet中,对低照度图像的光照进行增强,得到增强后的光照;在得到增强后的V通道图像后,对S通道图像进行自适应调整,调整过程表示为:s′(x,y)=s(x,y)+t[v′(x,y)‑v(x,y)]×λ(x,y);

其中,s′(x,y)为粗增强图像第x行、y列处像素点的饱和度;s(x,y)为低照度图像第x行、y列处像素点的饱和度;v′(x,y)为粗增强图像第x行、y列处像素点的亮度;v(x,y)为低照度图像第x行、y列处像素点的亮度;t为比例常数;λ(x,y)为v(x,y)和s(x,y)的相关系数,表示为:其中,v(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的亮度,s(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的饱和度; 为像素点(x,y)在邻域窗口w中的亮度的均值, 为像素点(x,y)在邻域窗口w中的饱和度的均值;δv(x,y)为像素点(x,y)在邻域窗口w中的亮度的方差,δs(x,y)为像素点(x,y)在邻域窗口w中的饱和度的方差;w为以像素点(x,y)为中心、n×n的窗口;

图像重建,即将优化后图像的H通道、V通道以及S通道使用颜色通道合成RGB图像,即粗增强图像;

获取低照度图像的虚拟过曝光图像,将低照度图像、粗增强图像以及虚拟过曝光图像进行融合,获得最终的优化后增强图像。

2.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,图像输入DecomNet之前将训练集或者实时的待增强低照度图像进行颜色通道转换,将图像由RGB图像转化为HSV图像。

3.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,对输入DecomNet的图像使用卷积核为卷积核为3×3的卷积层提取特征,并将提取的特征依次通过5个带有ReLU、卷积核为3×3的卷积层进行映射,映射后依次通过一层卷积核为3×3的卷积层和sigmoid函数得到通道为4的图像,将图像前3个通道作为该图像的反射率R,最后一个通道的作为该图像的光照I。

4.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,对低照度图像的光照进行增强,得到增强后的光照的过程包括:将低照度图像的光照以及降噪后的反射率进行拼接后作为EnhanceNet网络的输入;

通过EnhanceNet网络的编码器‑解码器架构获取输入图像大区域中的上下文信息;

在EnhanceNet网络中,采用连续三个下采样模块将输入的图像下采样到不同的尺寸;

将每次下采样后的图像与上下文信息分别进行拼接,拼接后的图像通过上采样进行重建得到增强后的光照。

5.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,通过DecomNet的损失函数进行反向传播训练DecomNet,DecomNet的损失函数L1由重建损失函数Lrecon、反射分量一致性损失函数Lir和结构平滑损失函数Lis构成,表示为:L1=Lrecon+λirLir+λisLis;

Lir=||Rlow‑Rnormal||1;

其中,λir表示反射率一致性系数,λis表示照明平滑度系数;low表示低照度图像数据集,normal表示正常光图像数据集;λij为重建损失的平衡系数;Ri为当i等于low或者normal时的反射率;当j=low时,Ij为低光照图像的光照,当j=normal时,Ij为正常光图像的光照;当j=low时,Sj表示低光照图像,当j=normal时,Sj表示正常光图像;Rlow表示低照度图像的反射率;Rnormal表示正常光图像的反射率;|| ||1表示1‑范式;▽表示求梯度;λg为平衡结构感知强度系数;|| ||1表示1‑范式;▽表示求梯度;|| ||2表示2‑范数;

通过RestorationNet的损失函数进行反向传播训练RestorationNet,RestorationNet的损失函数表示为:其中, 为RestorationNet的损失函数; 为降噪后的反射图;Rh为正常光图像的反射率; 为 与Rh之间的结构相似性度量;

通过EnhanceNet的损失函数进行反向传播训练EnhanceNet,EnhanceNet的损失函数由重建损失函数Lrecon和结构平滑损失函数Lis构成,表示为:L2=Lrecon+λisLis;

其中,L2为EnhanceNet的损失函数。

6.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,利用相机响应模型获得虚拟过曝光图像,表示为:P=f(E);

其中,P为相机成像得到的图像,即虚拟过曝光图像;E为低照度图像的辐照度;f为相机非线性响应函数。

7.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法,其特征在于,将原始低照度图像、粗增强图像以及虚拟过曝光图像进行融合获得最终的优化后增强图像的过程包括:将原始低照度图像、粗增强图像以及虚拟过曝光图像使用图像块分解的方法进行列向量化;

获取列向量化后图像的块信号强度最大的值,记为

获取列向量化后图像的块结构的期望,记为 表示为:

其中, 为加权函数,表示为 为去除平均值的图像块,表示为

xk表示一个图像块, 为图像块xk的平均值;p为权值参数;Sk为为单位长度向量;K为曝光率;sk为曝光率为k的图像的块结构;

采用加权线性融合机制获得块的平均强度,记为 表示为:

其中,L(μk,lk)为将图像Xk的全局平均值μk和当前图像块xk的局部平均值作为输入的加权函数;lk表示不同曝光率的像素块的平均强度;

将堆叠的 还原到RGB通道,即优化后增强图像表示为: