利索能及
我要发布
收藏
专利号: 2023106964724
申请人: 电子科技大学长三角研究院(湖州)
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的无人机图像增强方法,其特征在于,包括以下步骤:步骤1:基于引导滤波的Retinex分解模块包含5个3×3卷积层,将维度w×h×c的序列图片输入网络中,其中,w代表图像的宽,h代表图像的高,c表示输入通道数;其中第一层用于提取输入图像的高维特征;第二和第三层添加了修正步骤2:步骤1所提到的基于引导滤波的Retinex分解模块第四层利用引导滤波作为Retinex算法中的滤波器,将输入图像分解为反射和光照分量,以便更好地进行照度校正,引导滤波的计算公式为:其中,qi表示滤波输出的值,Ii表示原始图像中像素点i的像素值,ak和bk表示常数参数,一个滤波窗口对应一对常数参数,其可由以下公式计算得出:其中,pk表示原始图像中所有像素值的总和,Ik表示引导图像中所有像素值的总和,ε值为一个正则化参数避免ak值过大,σ为引导图像像素点的方差;

步骤3:基于引导滤波的Retinex分解模块第五层输出的前三个通道值,经Sigmoid函数后作为分解出来的反射分量,最后一个通道的输出经Sigmoid函数后作为分解出来的光照分量;

步骤4:基于自适应伽马校正的图像增强模块由编码器和解码器构成,以基于引导滤波的Retinex分解模块输出的反射图像和光照图像作为输入,光照图像经过编码器三次下采样操作获取深层次特征,并在解码层中利用最邻近插值进行三次上采样放大光照信息;残差块进行特征跨层跳跃连接,从下采样块引入到对应的镜像上采样块,以便将编码层学习到的特征复用到解码层中,从而保留图像的细节信息;最后,通过多尺度特征融合,在不同尺度上对光照分量进行恢复;

步骤5:低照度图像经过步骤4的图像增强模块后输出的反射图像和光照图像经过融合,重构成了增强后的正常光照图,其融合公式为:步骤6:由于图像的反射分量反映的是物体固有性质,不受光照的影响,因此,引入不变反射率损失Lir来约束反射的一致性,计算公式如下:Lir=||Rlow‑Rnormal||1

此外,根据日常经验可知,光照的变化是连续的、渐变的,因此光照分量应该是连续的,在局部区域时一致的,光照的变化与物体结构的变化也应该是一致的,因此,引入第二个约束项—光照平滑损失Lis,来约束光照变化,计算公式如下:而本发明加入的引导滤波可以去除图像中的噪声并保留重要的细节,所以要引入SSIM损失,计算公式为:其中,x、y分别表示原始图像和增强后的图像,μ、σ分别表示均值和标准差,σxy表示协方差,C1、C2是常数,C1取值6.5,C2取值58.5;

步骤7:将步骤6的损失函数进行正则化操作,得到最终的损失函数Ldec,即:Ldec=λirLir+λisLis+λssimLSSIM

其中,λir、λis、λSSIM取值分别为0.001,0.1,0.8;

步骤8:由于不同照度下的图像的反射分量是基本一致的,但是光照分量却相差很大,因此分别利用Rnormal、Rlow与Inormal、Ilow重构出来效果也是基本一致的,考虑到这样的情况,损失函数中还应该包含图像重构约束项Lrecon,因此,Lenh由光照平滑损失Lis以及重构损失Lrecon构成,即:Lenh=λrecLrecon+λisLis

当i≠j时,λij取值为0.001,当i=j,λij取值为1,λis=0.1,λrec=0.5。

2.如权利要求1所述方法,其特征在于,步骤6中C1取值6.5,C2取值58.5。

3.如权利要求1所述方法,其特征在于,步骤7中λir、λis、λSSIM取值分别为0.001、0.1、

0.8。

4.如权利要求1所述方法,其特征在于,步骤8中当i≠j时,λij取值为0.001,当i=j,λij取值为1,λis=0.1,λrec=0.5。