利索能及
我要发布
收藏
专利号: 2024107609743
申请人: 东北电力大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度注意力混合特征融合的水下图像增强方法,其特征在于,具体包括以下步骤:步骤1:获取水下图像数据集,形成第一数据集;所述第一数据集中,水下图像可通过专业水下相机进行拍摄、或者从网络中收集获取;

步骤2:为所述第一数据集中的图像进行预处理,预处理后的图像形成第二数据集,并将所述第二数据集划分为训练集、验证集和测试集;

步骤3:构建基于多尺度注意力混合特征融合的水下图像增强模型MAHFF,MAHFF模型包括6个MAH‑FEB模块,6个RESIZSE BLOCK模块,1个Concatenation融合模块,1个Conv卷积模块;

所述MAHFF模型以所述第二数据集作为输入;

将所述第二数据集的图像输入到第一MAH‑FEB模块,所述第一MAH‑FEB模块输出的特征图,作为第二MAH‑FEB模块的输入;同时,将所述第二数据集的图像输入到第一RESIZE BLOCK模块,所述第一RESIZE BLOCK模块的输出送入所述Concatenation融合模块;

将所述第一MAH‑FEB模块输出的特征图作为第二RESIZE BLOCK模块的输入;将所述第二RESIZE BLOCK模块的输出送入所述Concatenation融合模块;以此类推,重复五次,即将第五MAH‑FEB模块的输出送入第六RESIZE BLOCK模块,第六RESIZE BLOCK模块的输出送所述Concatenation融合模块;将第六MAH‑FEB模块的输出送入所述Concatenation融合模块;

将所述Concatenation融合模块的输出送入Conv卷积模块,所述Conv卷积模块的输出即是最终的增强后的图像;

步骤4:采用新的损失函数,损失函数计算公式为:

式(1)中,Lnew loss为新的损失函数,α为权重因子, ,L1计算公式为:;

式(2)中,N为每个训练批次的总样本数,x(p)是原始图像,y(p)是增强后的图像;

式(1)中,LSSIM计算公式为:

式(3)中,L(x,y)为亮度,C(x,y)为对比度, S(x,y)为结构,x表示原始图像,y表示增强后的图像;

式(4)‑式(9)中,μx和μy表示为x和y的均值, 和 表示为x和y的方差,σxy表示为x和y之间的协方差,c1、c2、c3为极小常量,用于避免分母为0,k1为0.01,k2为0.03,l为图像像素值范围,即 ;

步骤5:利用所述训练集和验证集对所述基于多尺度注意力混合特征融合的水下图像增强模型MAHFF进行训练,将训练结束后的模型保存为最优模型,所述MAHFF模型的训练过程,进一步包括步骤5.1至步骤5.4:步骤5.1:设置所述MAHFF模型的训练参数,所述训练参数包括:批处理大小,训练周期数,学习率,优化器,输入图像大小;

步骤5.2:将所述训练集和验证集图像以及对应标签输入到所述MAHFF模型中,使用优化器Adam来反向传播更新参数,然后开始训练;

步骤5.3:将训练结束后模型保存为最优模型;

步骤6:采用所述测试集对所述最优模型进行测试,对测试集测试结果进行客观评价指标评估,满足客观评价指标要求,即获得最终基于多尺度注意力混合特征融合的水下图像增强模型MAHFF;评价过程,进一步包括步骤6.1至步骤6.3:步骤6.1:将所述测试集图像输入到步骤5所述的最优模型中,输出增强后的测试集图像;

步骤6.2:计算原始测试集图像和增强后的测试集图像的客观评价指标,客观评价指标包括峰值信噪比PNSR、结构相似度SSIM和视觉信息保真度VIF;

步骤6.3:当客观评价指标满足要求时,获得最终基于多尺度注意力混合特征融合的水下图像增强模型。

2.根据权利要求1所述的一种基于多尺度注意力混合特征融合的水下图像增强方法,其特征在于,所述步骤3中的每一个MAH‑FEB模块,具体包括:

4个3×3Conv卷积模块,1个5×5Conv卷积模块,1个7×7Conv卷积模块,3个GAM注意力机制模块,5个BN批量归一化模块,5个LeakyRelu激活函数模块,一个Resize 模块,1个Maxpooling最大池化模块,2个Concatenation融合模块;

所述MAH‑FEB模块,模块内部流程进一步包括步骤3.1到步骤3.11:步骤3.1:将原始输入图像进行尺寸调整,作为特征图;

步骤3.2:将特征图作为输入,同时分别送入至RESIZE BLOCK模块、3×3、5×5和7×7的卷积核进行卷积操作,以提取不同尺度和层次的特征信息,卷积公式如下:;

式(10)中,Xout是卷积后的特征图,Xin是输入特征图,K是卷积核,[i,j]是像素位置坐标,特征图Xin和卷积核K的元素相乘后求和,m和n是用来遍历卷积核K的所有元素的索引;

步骤3.3:对每个卷积分支的输出进行批量归一化操作,以减少训练过程中的内部协变量偏移,批量归一化公式如下:;

2

式(11)中,μ是Xout的均值,σ是Xout的方差,是一个防止除0的常数;

步骤3.4:对每个卷积分支归一化后,使用LeakyRelu激活函数对归一化后的特征进行非线性变换,以避免梯度消失,LeakyRelu激活函数的计算公式如下:;

式(12)中,Xnorm是实例归一化后的特征图,β是LeakyRelu函数的参数,表示Xnorm小于0时,函数的斜率;

步骤3.5:将所述3×3、5×5、7×7三个卷积分支输出的特征图分别送全局注意力机制GAM模块,输出更为细致的特征图,全局注意力机制公式如下:;

式(13)中,Xoutput为输出的特征图,Mc为通道注意力机制,Ms为空间注意力机制;

其中,通道注意力机制Mc的公式为:

式(14)中,Xg是全局池化后的特征图,FC是全连接层,σ是Sigmoid激活函数;

空间注意力机制Ms的公式为:

式(15)中,X是输入特征图,Conv是卷积层,σ是Sigmoid激活函数;

步骤3.6,将三个GAM层的输出的特征图沿通道维度进行融合,送入到Concatenation模块,得到一个多尺度的特征图;

步骤3.7:通过一个3×3的卷积块对拼接后的特征图进行降维操作;

步骤3.8:使用最大池化操作对降维后的特征图进行下采样,最大池化的公式如下:;

式子(16)中,ykij表示与第k个特征图有关的矩形趋于Rij的最大池化输出值,xkpq表示矩形区域Rij中位于(p,q)处的元素;

步骤3.9:将所述步骤3.8的输出的特征图送入Concatenation融合模块;

步骤3.10:将步骤3.2所述的原始图像输入的特征图通过一个上采样模块RESIZE BLOCK将其尺寸调整为与下采样后的特征图一致,然后与步骤3.8的输出特征图进行融合操作,实现不同层次和尺度的特征融合;

步骤3.11:通过一个3×3的卷积块对融合后的特征图进行卷积操作,并输出最终的具有更多细节特征的特征图。

3. 根据权利要求1所述的一种基于多尺度注意力混合特征融合的水下图像增强方法,其特征在于,所述步骤3中的每一个RESIZE BLOCK模块,包括一个Resize层和一个3×3Conv层;

Resize 层的作用是通过上采样或下采样的方式,调整输入特征图的尺寸,以实现不同尺度的特征提取,从而捕捉到图像的全局和局部信息;

Conv 层的作用是通过3×3卷积操作,对 Resize 层输出的特征图进行进一步的空间特征提取,从而增强了特征的表达能力。