利索能及
我要发布
收藏
专利号: 2022107575663
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多领域信息融合的水下图像增强方法,其特征在于,采用包括语义分支、梯度分支和像素分支的分层增强网络模型来进行图像增强,所述语义分支包括多尺度注意力特征提取模块和语义域特征解码模块,所述梯度分支包括梯度域特征提取模块和梯度域特征解码模块,所述像素分支包括多通道注意力特征编码模块和像素域特征解码模块,所述基于多领域信息融合的水下图像增强方法,包括:将水下的降质图像输入到预训练好的掩码计算器,得到语义掩码;

将水下的降质图像输入到像素分支的多通道注意力特征提取模块,所述多通道注意力特征编码模块包含六个残差模块和一个多尺寸注意力模块,通过所述六个残差模块获取三种尺度的通道注意力特征,并通过多尺寸注意力模块获取像素域中间特征;

将三种尺度的通道注意力特征输入到语义分支的多尺度注意力特征提取模块,提取语义域中间特征;

将三种尺度的通道注意力特征以及水下的降质图像的梯度特征,输入到梯度域特征提取模块,提取梯度域中间特征;

采用语义分支的语义域特征解码模块对输入的语义域中间特征进行解码操作,所述语义域特征解码模块包括四个残差模块和一个卷积层,并将所述语义域特征解码模块输出的特征与语义掩码相乘,得到语义分支输出图像;

采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作,所述梯度域特征解码模块包括两个u形卷积块和一个卷积层,所述梯度域特征解码模块输出梯度分支输出图像;

所述像素域特征解码模块包括六个残差模块,将所述语义域中间特征与像素域中间特征拼接后输入到像素域特征解码模块,经过两个残差模块后,与所述语义域特征解码模块第二个残差模块输出的特征进行拼接,再经过两个残差模块后,与所述梯度域特征解码模块第二个u形卷积块输出的特征进行拼接,最后再经过两个残差模块,得到像素分支输出图像;

将所述语义分支输出图像、像素分支输出图像和梯度分支输出图像进行融合,然后经过一个卷积层,得到增强后的水下清晰图像。

2.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述掩码计算器包括四个残差模块。

3.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述多尺寸注意力模块包括三个单尺寸特征注意力模块,每个单尺寸特征注意力模块对输入特征做一次全局平均值池化和全局最大值池化操作,并将池化操作得到的结果相加,得到一组一维的通道权重向量,通道权重向量再通过三层的全连接神经网络进一步挖掘特征信息,得到通道注意力,通道注意力再与输入特征进行通道维度上的乘法,得到单尺寸特征注意力模块的输出;

最下层单尺寸注意力模块的输出经过上采样与中层单尺寸注意力模块输出进行特征拼接操作,再次经过上采样与卷积操作与最上层单尺寸注意力模块的输出进行特征拼接操作,最后经过卷积得到多尺寸注意力模块的输出。

4.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述多尺度注意力特征提取模块,包括一个多尺寸注意力模块和六个残差模块。

5.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述梯度域特征提取模块,首先对输入的梯度特征进行一次3 × 3卷积运算扩充维度,再构造三个u形卷积块,将多通道注意力编码模块中的不同尺度的通道注意力特征分别输入到每个u形卷积块中进行特征拼接操作,最后再通过一次3 × 3卷积运算,得到梯度域特征提取模块的编码结果,输出梯度域中间特征。

6.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述采用梯度域特征解码模块对输入的梯度域中间特征进行解码操作,包括:输入特征经过两个u形卷积块之后与原输入特征相加,然后再输入到卷积层,最后得到梯度分支输出图像。

7.根据权利要求5或6所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述u形卷积块,包括五个小块,每小块包含两次连续的“3 × 3卷积、Relu激活函数”,其中,第二个小块的输出特征与多通道注意力编码模块中的不同尺度的通道注意力特征拼接后,再经过三个小块的运算后输出。

8.根据权利要求1所述的基于多领域信息融合的水下图像增强方法,其特征在于,所述分层增强网络模型为每个分支的输出以及模型最后的输出设置损失函数,通过最小化所述损失函数来训练网络模型。