利索能及
我要发布
收藏
专利号: 2022105413842
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:包括如下步骤:

S1、获取网络训练所需数据集:通过选取水下图片和相应的增强图片作为训练集和测试集;

S2、数据预处理:对图片的尺寸和类型进行相应处理;

S3、RGB多尺度残差子网络训练:将RGB类型的训练集放入RGB多尺度残差子网络进行训练,得到增强网络模型1和输出结果y1;

S4、V通道亮度补偿子网络训练:将V通道的训练集放入V通道亮度补偿子网络进行训练,得到增强网络模型2和输出结果y2;

S5、增强重构环节:将输出结果y1和y2放入增强重构子网络进行计算,得到最终的增强结果y;

S6、模型测试:将待测的数据集放入训练好的增强网络1、增强网络2,通过增强重构子网络计算后即可得到增强后的图片。

2.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:所述S1中从公开数据集UIEBD、EUVP、UFO‑120中随机选取6400张水下图片和相应的增强图片作为训练集;随机选取1600张水下图片包含或不包含相应的增强图片作为测试集。

3.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:所述S2的具体步骤包括:将训练集和测试集裁剪为256×256的大小;原有的训练集和测试集是RGB类型的,将RGB类型转为HSV类型,提取亮度通道V并单独保存。

4.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:所述S3的具体步骤包括:RGB多尺度残差子网络包括2个卷积层、3个多尺度残差块和1个激活函数,输入为RGB类型的水下图片x1,标签为相应的RGB类型的增强图片b1,输出为RGB类型的增强图片y1;损失采用的是感知损失Lcon和内容损失L2的线性组合;

第一个卷积层将输入图片x1的3通道转成64通道,经过RELU激活函数送入连续的3个多尺度残差块进行特征提取,最后经过第二个卷积层将通道数转为3,得到生成的增强图片y1;

多尺度残差块包含4个通道:第一个通道不做处理,第二个通道采用两个3×3的卷积,第三个通道采用2个3×3的空洞卷积,在增大感受野的同时,不引入额外的计算量,第四个通道采用res2net模块,将原先的3×3卷积替换成3个3×3卷积,增大了感受野;第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入,第二个通道的输出和第三个通道的输出通过拼接的方式,再经过1×1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出;

内容损失L21是计算增强图片y1与标签b1的像素间损失;

其中yi是RGB多尺度残差子网络训练的增强结果,bi是输入图片对应的增强图片,n是训练的图片数量;

感知损失Lcon1计算增强图片y1与标签b1的高级感知特征之间的损失,采用的ImageNet上预训练的VGG19模型;

其中yi是RGB多尺度残差子网络训练的增强结果,bi是输入图片对应的增强图片,φ是预训练的VGG19网络,j表示该网络的第j层,CjHjWj是第j层特征图的形状,n是训练的图片数量;

总损失Lt1是内容损失L21和感知损失Lcon1的线性组合;

Lt1=L2+Lcon1。

5.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:所述S4的具体步骤包括:V通道亮度补偿网络包括卷积层、池化层、多尺度残差块、上采样和激活函数,输入为V通道水下图片x2,标签为相应的V通道增强图片b2,输出为V通道增强图片y2;损失采用的是感知损失Lcon、内容损失L2以及多尺度结构相似损失Lms_ssim的线性组合;

第一个卷积层将输入图片x2的单通道转成64通道,经过RELU激活函数得到特征f1,f1经过自适应池化将图片的尺寸从256×256变成128×128,然后通过1×1卷积,通道数由64变为128,送入第一个多尺度残差块得到特征f2,f2经过自适应池化将图片的尺寸从128×128变成64×64,然后通过1×1卷积,通道数由128变为256,送入第二个多尺度残差块得到特征f3,f3经过自适应池化将图片的尺寸从64×64变成32×32,然后通过1×1卷积,通道数由256变为512,送入第三个多尺度残差块得到特征f4,f2、f3、f4经过1×1卷积,通道数变为64,f4经过上采样后与f3进行残差连接,得到后的特征再经过上采样后与f2进行残差连接,得到后的特征再经过上采样与f1进行残差连接,最终通过3×3的卷积得到增强的V通道图片y2;

内容损失L22是计算增强图片y2与标签b2的像素间损失;

其中yi是V通道亮度补偿子网络训练的增强结果,bi是输入图片对应的增强图片,n是训练的图片数量;

感知损失Lcon2计算的是增强图片y2与标签b2的高级感知特征之间的损失,采用的ImageNet上预训练的VGG19模型;由于增强图片y2与标签b2都是单通道的,VGG19模型的输入是3通道的,计算损失时需要将其扩展为3通道;

其中yi是V通道亮度补偿子网络训练的增强结果,bi是输入图片对应的增强图片,φ是预训练的VGG19网络,j表示该网络的第j层,CjHjWj是第j层特征图的形状,n是训练的图片数量;

多尺度结构相似损失Lms_ssim基于多层的SSIM损失,考虑了分辨率、亮度、对比度、结构指标;

其中M表示不同的尺度,μp,μg分别表示y2和b2的均值,σp,σg表示y2和b2的之间的标准差,σpg表示y2和b2之间的协方差,βm,γm表示两项之间的相对重要性,c1,c2是常数项防止除数为

0;

总损失Lt2是内容损失L21、感知损失Lcon1和多尺度结构相似损失Lms_ssim的线性组合:Lt2=L2+Lcon1+Lms_ssim。

6.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法,其特征在于:所述S5具体包括:增强重构子网络是将RGB多尺度残差子网络的输出y1转为HSV类型,将其中的V通道值与V通道亮度补偿子网络的输出y2进行线组合,得到最终增强图片的V通道值,与y1的HS通道融合成新的HSV类型,再转为RGB类型,结合两个网络的优势,得到最终增强图片y。