利索能及
我要发布
收藏
专利号: 2023110738232
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,包括:S1、将成对水下原始图像进行数据增强和归一化处理,获得成对水下图像;

S2、构建双分支核自适应模块和多尺度融合模块,获得深层次特征并对其进行有效融合;

S3、基于双分支核自适应模块和多尺度融合模块,构建水下图像增强的卷积神经网络,输出水下图像;

S4、针对步骤S3中的水下图像,设计目标损失函数;

S5、将步骤S1中成对水下图像作为训练集,获得训练后的水下图像增强的卷积神经网络;

S6、将待增强的成对水下原始图像进行归一化处理,输入训练完成的水下图像增强模型,得到增强的水下图像;

其中,步骤S2中,构建双分支核自适应模块和多尺度融合模块具体内容为:(1)构建双分支核自适应模块

双分支核自适应模块分为前端、中端和末端结构,其前端结构由并行的三个大小分别为3×3、5×5、7×7的卷积核和两个下沉采样卷积核组成;其中端结构为特征跳跃注意力连接运算机制,由运算机制和注意力机制组成;其末端引入双分支核自适应和下采样的结构;

(2)构建多尺度融合模块

多尺度融合模块分为前端、中端和末端结构,其前端结构包含叠加结构;其中端结构是两条并行的尺度融合加权分支,一条分支包括avgpool池化层、fc全连接层、sigmoid激活层,另一条分支包括maxpool池化层、fc全连接层、sigmoid激活层;其末端结构包含加权结构。

2.根据权利要求1所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S1中,获得成对水下图像包括以下子步骤:S101、将所有成对水下原始图像缩放,并对缩放后的图像通过随机翻转、裁切组合、变形进行数据增强;

S102、将所有经过数据增强后的成对水下原始图像进行归一化处理,获得成对水下图像,具体公式为:其中,I(i,j)表示成对水下原始图像,g(i,j)表示成对水下图像,(i,j)表示像素的位置。

3.根据权利要求1所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S2中,获得融合后的深层次特征包括以下子步骤:S201、将步骤S1中的成对水下图像输入到双分支核自适应模块的前端结构中,利用三个不同大小的卷积核提取不同尺度的特征,具体公式为:

3×3

I1=w (input)

5×5 5×5

I2=concat(w (input),w (I1))

7×7 7×7

I3=concat(w (input),w (I2))其中,I1表示成对水下图像经过卷积核3×3下采样后的特征,I2表示成对水下图像与I1分别经过卷积核5×5下采样后叠加得到的特征,I3表示成对水下图像与I2分别经过卷积核7×7下采样后叠加得到的特征,w表示卷积操作,concat表示在通道方向上叠加操作;

S202、将提取的三个不同尺度的特征输入到双分支核自适应模块的中端结构中,经过concat和add操作,再经过一个3×3卷积,得到下采样的叠加特征,再输入到CBAM中,得到注意力加权后的特征,具体公式为:F1=U(I1,input_R),U∈{cat,add}F2=U(I2,input_G),U∈{cat,add}F3=U(I3,input_B),U∈{cat,add}Fci=CBAM(Ii),i∈{1,2,3}

其中,F1表示I1和成对水下图像红色通道的特征经过concat和add操作得到的特征,F2表示I2和成对水下图像绿色通道的特征经过concat和add操作得到的特征,F3表示I3和成对水下图像蓝色通道的特征经过concat和add操作得到的特征,Fci表示Ii经过CBAM得到的注意力加权特征,U表示concat和add操作,input_R表示成对水下图像红色通道的特征,input_G表示成对水下图像绿色通道的特征,input_B表示成对水下图像蓝色通道的特征,cat表示concat,add表示图像对应位置像素点相加操作;

S203、将双分支核自适应模块的前端结构中提取的特征输入到末端结构中进行add运算,经过一个全局平均池和一个1×1的卷积层得到紧凑特征,再通过3个并行的1×1×32的卷积层和softmax激活层得到每个分辨流的特征注意向量,具体公式为:F=I1+I2+I3

1×1

Z=w (GAP(F))

1×1

Pi=Softmax(w (Z)),i∈{1,2,3}其中,F表示步骤S201中三个特征相加得到的多尺度特征,Z表示紧凑特征,GAP表示全局平均池,Pi表示经过步骤S201中第i个特征的特征注意向量;

S204、将每个分辨流的特征注意向量输入到双分支核自适应模块末端结构的第二分支中,得到熵启发的加权特征,具体公式为:

3×3

yr(k,j)=sigmoid(w (H,1‑H))

3×3

yg(k,j)=sigmoid(w (H,1‑H))

3×3

yb(k,j)=sigmoid(w (H,1‑H))

Er=exp(yr(k,j))/exp(yr(k,j))+exp(yg(k,j))+exp(yb(k,j))Eg=exp(yg(k,j))/exp(yr(k,j))+exp(yg(k,j))+exp(yb(k,j))Eb=exp(yb(k,j))/exp(yr(k,j))+exp(yg(k,j))+exp(yb(k,j))

1×1

output=Prelu(bn(P1·Fc1·Er+P2·Fc2·Eg+P3·Fc3·Eb+w (I)))其中,H表示局部熵图像,1‑H表示局部熵图像在像素值上取补,yr表示将H和1‑H进行下采样和归一化后得到的用于红色通道图像特征,yg表示将H和1‑H进行下采样和归一化后得到的用于绿色通道图像特征,yb表示将H和1‑H进行下采样和归一化后得到的用于蓝色通道图像特征,yr、yg和yb下采样的参数不共享,sigmoid表示将变量映射到0~1之间的函数,k表示图像矩阵的行数,j表示图像矩阵的列数,Er表示红色通道特征加权系数,Eg表示绿色通道特征加权系数,Eb表示蓝色通道特征加权系数,output表示经过熵启发核自适应后得到的加权特征,Prelu表示激活函数,bn表示batch归一化,Fc1表示I1经过CBAM得到的注意力加权特征,Fc2表示I2经过CBAM得到的注意力加权特征,Fc3表示I3经过CBAM得到的注意力加权特征,I表示输入特征;

局部熵图像的表达式为:

其中,El表示期望,pi,j表示图像的局部范围,l表示局部点,t表示循环变量,Nq表示局部上点的总数,pt表示概率值;

S205、多尺度融合模块对输入的特征在通道方向叠加,分别通过两个加权分支分配适当的权重,得到融合后的深层次特征,具体公式为:Y=concat(input_1,input_2,input_3)Y=Y·sigmoid(linear(GAP(Y)))·sigmoid(linear(GMP(Y)))+Y其中,input_1、input_2、input_3分别表示输入的三个尺度特征,linear表示全连接层,GMP表示全局最大池化,Y表示融合后的深层次特征。

4.根据权利要求1所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S3中,构建水下图像增强的卷积神经网络包括以下内容:搭建特征提取网络,该网络的前端结构是三个并行的双分支核自适应模块,中端结构是一个concat层,叠加前端输出的特征,末端是两个并行的双分支核自适应模块;搭建特征融合网络,该网络的前端结构是由dconv、bn、prelu组成的block,中端结构是多尺度融合模块,末端结构与前端结构相同;水下图像增强的卷积神经网络包含特征提取网络和特征融合网络。

5.根据权利要求4所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S3中,输出水下图像包括以下子步骤:S301、将成对水下图像中的待训练图像以及其对应的局部熵图像输入到特征提取网络的前端结构中进行多尺度核自适应的提取,得到三个浅层特征,再将其经过叠加依次输入到串行的两个双分支核自适应模块中进行深层次的提取,得到水下图像的相关特征;

S302、将水下图像的相关特征输入到特征融合网络中,内部依次经过dconv、bn、prelu组成的block、三输入的多尺度融合模块,其内嵌双分支并行注意力进一步融合学习输入的特征,得到水下图像。

6.根据权利要求1所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S4中,设计目标损失函数包括以下子步骤:S401、基于L2范数,进行最小化操作,具体公式为:

其中,L2(θ)表示均方根误差,N表示像素个数,Il和Ig分别表示增强后的经过处理后的成对水下原始图像、对应的清晰水下图像;

S402、利用基于VGG网络的感知损失对ImageNet数据集进行预训练,具体公式为:其中,C、W和H分别表示图像的通道、宽度和高度,c、w和h分别表示图像的通道、宽度和c g高度上求和的循环变量,I表示训练图像,I表示训练图像对应的真实值;

S403、利用拉普拉斯损失对图像进行卷积操作,具体公式为:其中,Llap表示拉普拉斯损失,lap()表示用拉普拉斯模板进行卷积操作;

S404、均方根误差、感知损失、SSIM结构相似性损失和拉普拉斯损失构成目标损失函数,具体公式为:Loss=L2(θ)+λpLperc+λsLssim+λlLlap其中,Lperc表示感知损失,Lssim表示SSIM结构相似性损失,λp、λs和λl表示损失加权平衡参数。

7.根据权利要求1所述的结合双分支核自适应和多尺度融合的水下图像增强方法,其特征在于,步骤S5中,训练水下图像增强的卷积神经网络包括以下子步骤:S501、将步骤S1中成对水下原始图像分为训练集和测试集,并将训练集随机划分多个批次输入到水下图像增强的卷积神经网络中;

S502、根据设计的目标损失函数,使用反向传播方法计算水下图像增强模型中的各个参数梯度,并利用随机梯度下降方法更新水下图像增强模型的参数;

S503、重复设置的批次数量对模型进行训练,直至水下图像增强模型的目标损失函数数值收敛到纳什平衡,保存模型参数,完成对水下图像增强模型的训练。