利索能及
我要发布
收藏
专利号: 2022110283001
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,包括:S1:获取训练集数据,所述训练集数据包括真实有雾图像和真实无雾图像;

S2:构建图像去雾模型,所述图像去雾模型包括第一去雾单元和第二去雾单元;所述第一去雾单元为暗通道先验去雾单元;所述第二去雾单元为生成对抗网络去雾单元;

S3:将所述训练集数据输入所述图像去雾模型进行训练,直至所述图像去雾模型的损失函数收敛,得到训练好的图像去雾模型;

S4:将真实有雾图像输入训练好的图像去雾模型,通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理,得到第一传输映射图像和第一去雾图像;

S5:通过所述第二去雾单元对所述第一传输映射图像和所述第一去雾图像进行特征细化处理,得到第二传输映射图像和第二去雾图像;并对所述第二传输映射图像进行物理去雾处理,得到第三去雾图像;

S6:对所述第二去雾图像和第三去雾图像进行图像融合,得到最终的无雾图像。

2.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,S4中,通过所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理,得到第一传输映射图像和第一去雾图像,具体包括:S4.1:提取真实有雾图像的暗通道,其表达式如下所示:

其中, 表示真实有雾图像Freal在像素x处的暗通道,maxpool(·)表示最大池化操作, 表示真实有雾图像Freal的R、B或G通道的其中一个通道;

S4.2:将暗通道图像的所有像素按照亮度大小从大到小进行排序,找到亮度最大的前

0.1%的像素位置,根据亮度最大的前0.1%的像素位置在输入的真实有雾图像中计算平均像素亮度值作为全球大气光值A;

S4.3:根据科施米德定律,利用所述暗通道和全球大气光值,计算第一传输图像TDCP,其表达式如下所示:S4.4:根据逆转科施米德定律,利用所述全球大气光值A和所述第一传输图像TDCP,计算第一去雾图像CDCP,其表达式如下所示:

3.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述方法还包括:在所述第一去雾单元对所述真实有雾图像进行暗通道先验去雾处理得到第一去雾图像后,对所述第一去雾图像进行非线性增强‑伽马变换,得到亮度改善后的第一去雾图像。

4.根据权利要求1所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述第二去雾单元包括第一生成器、第二生成器、第一判别器、第二判别器和第三判别器;

所述第一生成器用于对所述第一传输映射图像进行特征细化处理,得到第二传输映射图像;

所述第二生成器用于对所述第一去雾图像进行特征细化处理,得到第二去雾图像;

所述第一判别器用于将原始尺寸的第二去雾图像与原始尺寸的真实无雾图像进行对比,得到原始尺寸的第二去雾图像与原始尺寸的真实无雾图像的相似程度;

所述第二判别器用于将经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像进行对比,得到经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像的相似程度;

所述第三判别器用于将经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像进行对比,得到经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像的相似程度。

5.根据权利要求4所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述第一生成器为以U‑Net网络为基本结构,引入卷积块注意力机制的细化网络;

所述第二生成器为以ResNet网络为基本结构,引入卷积块注意力机制的细化网络;

所述卷积块注意力机制包括空间注意力机制和通道注意力机制。

6.根据权利要求4所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述方法还包括:根据原始尺寸的第二去雾图像与原始尺寸的真实无雾图像的相似程度,经过二倍下采样的第二去雾图像与经过二倍下采样的真实无雾图像的相似程度,以及经过四倍下采样的第二去雾图像与经过四倍下采样的真实无雾图像的相似程度对所述第二生成器、所述第一判别器、所述第二判别器和所述第三判别器进行更新。

7.根据权利要求6所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述方法还包括:利用所述第二传输映射图像、所述第二去雾图像以及全球大气光值,并根据科施米德定律重建有雾图像,得到重建有雾图像;

计算真实有雾图像和重建有雾图像的空间距离;

根据所述空间距离,对所述第一生成器行更新。

8.根据权利要求7所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述图像去雾模型的损失函数L的表达式如下所示:其中,RU表示第一生成器,RT表示第二生成器,Dk表示第k个判别器,k=1,2,3,LGAN为对抗性损失函数,Lrec为重构损失函数,Lidt为身份损失函数,λ表示LGAN权重的超参数;

所述对抗性损失函数LGAN的表达式如下所示:

其中,LGAN(RT,Dk)表示第k个判别器的单一对抗损失, 表示针对输入的真实无雾图像执行·运算之后的期望值, 表示针对第一去雾图像执行*运算之后的期望值;

所述重构损失函数Lrec的表达式如下所示:

Lrec=||Freal‑Frec||

其中,Freal为输入的真实有雾图像,Frec为重建有雾图像,||·||表示距离度量;

所述身份损失函数Lidt的表达式如下所示:

Lidt=||Creal‑RT(Creal)||

其中,Creal为输入的真实无雾图像。

9.根据权利要求1‑8任一项所述的基于生成对抗网络和多尺度融合的图像去雾方法,其特征在于,所述对第二去雾图像和第三去雾图像进行图像融合,得到最终的无雾图像,具体包括:分别计算第二去雾图像、第三去雾图像和真实有雾图像的梯度模量和色度信息;

根据所述梯度模量和色度信息,分别计算第二去雾图像和真实有雾图像的梯度模量相似度和色度信息相似度,以及第三去雾图像与真实有雾图像的梯度模量相似度和色度信息相似度;

将第二去雾图像和真实有雾图像的梯度模量相似度和色度信息相似度转换为第一融合权值,以及将第三去雾图像与真实有雾图像的梯度模量相似度和色度信息相似度转换为第二融合权值;

根据所述第一融合权值和所述第二融合权值,对第二去雾图像和第三去雾图像进行图像融合,得到最终的无雾图像。

10.基于生成对抗网络和多尺度融合的图像去雾系统,应用于如权利要求1~9任一项所述的图像去雾方法中,其特征在于,包括:数据获取模块,用于获取训练集数据,所述训练集数据包括真实有雾图像和真实无雾图像;

模型构建模块,用于构建图像去雾模型;

训练模块,用于利用所述训练集数据对所述图像去雾模型进行训练,直至所述图像去雾模型的损失函数收敛,得到训练好的图像去雾模型;

所述图像去雾模型包括第一去雾单元和第二去雾单元;所述第一去雾单元为暗通道先验去雾单元;所述第二去雾单元为生成对抗网络去雾单元;

所述第一去雾单元用于对所述真实有雾图像进行暗通道先验去雾处理,得到第一传输映射图像和第一去雾图像;

所述第二去雾单元用于对所述第一传输映射图像和所述第一去雾图像进行特征细化处理,得到第二传输映射图像和第二去雾图像;并对所述第二传输映射图像进行物理去雾处理,得到第三去雾图像;

图像融合模块,对所述第二去雾图像和第三去雾图像进行图像融合,得到最终的无雾图像。