1.一种基于多颜色空间融合网络的水下图像增强方法,其特征在于:将RGB水下图像和对应的XYZ彩色空间图像首先通过编码器生成初始特征;然后,将特征图输入到多个MFFB块中进行多轮迭代,以增强颜色和细节;最后,通过解码器生成增强后的图像;所述MFFB块为多维特征融合块;
所述编码器由三个卷积层组成,用于从RGB和XYZ图像中构建初始特征映射;所述MFFB块共有七个;解码器由三个卷积层组成,用于将增强的特征地图还原为水下图像;
所述MFFB块中,首先通过一个MDCW模块获得用于约束均值和方差的多维校准权重Wmdcw,然后通过通道级混合融合来融合颜色特征:2
首先,计算空间s、通道c和批处理b的均值μ和方差σ:其中,H和W为特征图的高度和宽度;
然后,建立三个多维权重因子δk,每个都由三个可训练参数组成;用于平衡不同维度的重要性,如下所示:其中,λs、λc、λb是3个可训练的参数;
2
随后,利用多维约束MDC(·)以约束每个特征图中的均值μ和方差σ范围:其中,α、β、ε分别为可训练的缩放因子、可训练的偏差因子和一个常数;在进行多维约束MDC(·)后,得到初始的多维校准权值 最终的多维校准权值Wmdcw由 与全局尺度因子{wt}融合得到:其中,t和z表示所有特征映射图M的索引;αt表示MDC(·)中的可训练缩放因子;全局尺度因子{wt}用于调整 的全局结构;
然后,根据阈值T将Wmdcw划分为强调全局结构的W1和侧重于丰富加权颜色的W2;初始特征图与W1和W2融合后,被分为四组大于或等于阈值T的特征地图和四组小于阈值T的特征地图;
采用通道混合融合得到颜色特征融合后的图像,以同时融合颜色和增强细节。
2.根据权利要求1所述的基于多颜色空间融合网络的水下图像增强方法,其特征在于:第一个MFFB块与第七个MFFB块构成跳跃连接;第二个MFFB块与第六个MFFB块构成跳跃连接;第三个MFFB块与第五个MFFB块构成跳跃连接。
3.根据权利要求1所述的基于多颜色空间融合网络的水下图像增强方法,其特征在于:所述MFFB块采用通道混合融合得到颜色特征融合后的图像后进一步以多尺度特征金字塔构造的方式加强细节:首先利用4个由不同感受野的分组卷积组成的CCL获得4个多尺度特征图;这些特征图用于构建初始的多尺度特征金字塔Xini,然后通过一个PWE模块获得多尺度特征融合的多尺度权值:其中,自适应平均池降采样AAP(·)允许指定输出特征映射的大小;全连接层 用于全局关联特征;Bic(·)为双边上采样,P为初始的多尺度权值;再通过全连接层 和Softmax(·)函数的组合,得到最终的多尺度权值Wmsw:最终的多尺度特征金字塔Mmsfp通过初始多尺度特征金字塔Xini与最终多尺度权重Wmsw相融获得:其中, 表示像素级的乘法。
4.根据权利要求1所述的基于多颜色空间融合网络的水下图像增强方法,其特征在于:利用均方误差损失函数Lmse对增强的水下图像x和参考的水下图像y进行评估:其中,H和W表示水下图像的高度和宽度;
通过纹理‑颜色损失函数Ltc,以高频和低频地图和灰度地图测量增强水下图像和参考水下图像之间的差异;对于细节增强,高频Mh(t)和低频图Ml(t)通过以下方法获得:Ml(t)=AvgPool(t),Mh(t)=(t‑Ml(t)), (9)其中,AvgPool(·)表示平均滤波器卷积运算;t是输入的图像;
对于颜色恢复,灰度地图Mg(t)通过平均三个颜色通道的值的操作Ltc表示为:其中,x表示增强的水下图像;y为参考水下图像;最终的损失函数Lf是Ltc和Lmse的线性组合。
5.根据权利要求1所述的基于多颜色空间融合网络的水下图像增强方法,其特征在于:水下图像数据集通过以下方法获得:
从若干个全参考数据集中收集水下图像,然后进行高质量的水下参考图像的选择;
所述高质量的水下参考图像的选择包括以下步骤:
整合来自全参考数据集的所有参考水下图像到一个集合中;
获得每一个参考水下图像的若干个无参考指标得分;
将每个参考水下图像的无参考指标的得分分别归一化;
计算每个参考水下图像的无参考指标的平均得分;
保留平均排名前30%的参考水下图像和相应的原始水下图像。
6.一种基于多颜色空间融合网络的水下图像增强系统,用于实现如权利要求1所述的方法,其特征在于:包括MCSF‑Net模型,所述MCSF‑Net模型包括编码器、若干个MFFB块和解码器;所述MCSF‑Net为轻量级的多色空间融合网络;
所述编码器用于将RGB水下图像和对应的XYZ彩色空间图像生成初始特征;
所述MFFB块用于对特征图进行迭代以增强颜色和细节;
所述解码器用于生成增强后的图像。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑5任一项所述的基于多颜色空间融合网络的水下图像增强方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1‑5任一项所述的基于多颜色空间融合网络的水下图像增强方法的步骤。