利索能及
我要发布
收藏
专利号: 2022107462580
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于生成对抗网络的高动态范围成像及鬼影去除方法,其特征在于,包括:S1.获取连续多帧的低动态范围图像序列,其包含低曝光、正常曝光和高曝光的低动态范围图像,并进行预处理和分块,得到用于训练的成组的低曝光和正常曝光图像块对,以及正常曝光和高曝光图像块对;其中,将正常曝光的低动态范围图像作为参考图像;

步骤S1对每组的低曝光、正常曝光和高曝光的低动态范围图像进行预处理和分块的具体过程包括:S11.采用相机响应函数建立低曝光、高曝光与正常曝光的低动态范围图像之间的像素映射函数;

S12.对正常曝光的低动态范围图像,和像素映射后的低曝光、高曝光的低动态范围图像进行归一化处理;

S13.按照n×n的尺寸大小对步骤S12归一化处理后的图像进行分块,得到低曝光图像块和正常曝光图像块组成的图像块对,以及正常曝光图像块和高曝光图像块组成的图像块对;

S2.构建用于高动态范围成像的生成对抗网络,其包括生成器网络和判别器网络;

生成器网络包括编码模块、合成模块和解码模块,编码模块包括双重注意力模块和特征提取模块,双重注意力模块包括通道注意力单元和空间注意力单元;

S3.使用成组的低曝光和正常曝光图像块对,以及正常曝光和高曝光图像块对训练生成对抗网络,采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡,得到并保存训练好的生成对抗网络;

Wasserstein距离损失函数表示为:

为方便求解,对上面的Wasserstein距离损失函数进行转换,表示为:其中,Pr表示参考图像块,Pg表示生成图像块,连续函数f的Lipschitz常数为K, 表示参考图像期望值, 表示生成图像期望值,sup表示上确界,Ir表示参考图像,Ig表示生成图像;

S4.将待融合图像输入训练好的生成对抗网络,得到HDR图像。

2.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法,其特征在于,空间注意力单元的处理过程包括:

将低曝光图像块Ps1和正常曝光图像块Pr、正常曝光图像块Pr和高曝光图像块Ps3的局部特征分别进行1×1卷积运算;对卷积运算后的图像块分别进行转置和尺度变换,生成第一特征映射、第二特征映射和第三特征映射;第一特征映射与第二特征映射相乘后通过softmax函数,得到第一关系强度矩阵,第二特征映射与第三特征映射相乘后通过softmax函数,得到第二关系强度矩阵;将第一关系强度矩阵与图像块Ps1相乘得到第一空间注意力特征,将第二关系强化矩阵与图像块Ps3相乘得到第二空间注意力特征;

通道注意力单元的处理过程包括:

对图像块Ps1、Pr和Ps3分别进行转置和尺度变换,生成第一转换特征、第二转换特征和第三转换特征;第一转换特征与第二转换特征相乘后通过softmax函数,得到第一通道注意矩阵,第二转换特征与第三转换特征相乘后通过softmax函数,得到第二通道注意矩阵;将第一通道注意矩阵与图像块Ps1相乘得到第一通道注意力特征,将第二通道注意矩阵与图像块Ps3相乘得到第二通道注意力特征。

3.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法,其特征在于,步骤S3训练对抗生成网络的具体过程包括:S31.首先固定生成器网络参数不变,训练判别器网络,包括:

S32.获取假样本图像块,即将成组的低曝光和正常曝光图像块对,以及正常曝光和高曝光图像块对输入生成器网络,得到m个融合图像块;

S33.获取真样本图像块,即从低曝光和高曝光的低动态范围图像中分别获取m个低曝光源图图像块和高曝光源图图像块;

S34.将假样本图像块和真样本图像块一起送入判别器网络训练,计算判别器网络的判别损失,反向传播判别损失更新判别器网络参数,并采用Adam进行优化;

S35.接下来固定判别器网络参数不变,训练生成器网络,包括:

S36.从训练生成的假样本图像块中获取m个假样本图像块,从参考图像中获取m个参考图像块;

S37.提取假样本图像块与参考图像块的像素特征并更新生成器网络参数;

S38.重复步骤S31‑37,直至生成对抗网络训练完成。