1.一种船舰高光谱图像生成方法,其特征在于,包括以下步骤:
S1、对海洋场景下的红外图像进行预处理;
S2、将预处理后的红外图像输入基于内容一致性约束的光谱生成对抗网络,生成中间态图像,即得到可见光图像;
S3、将所述可见光图像特征嵌入到基于频谱注意机制的掩膜引导的光谱变换器的初始特征空间中,得到初步光谱特征;
S4、将所述初步光谱特征作为基于频谱注意机制的掩膜引导的光谱变换器的输入,并对光谱变换器的输出进行处理,得到生成图像;
其中,所述基于内容一致性约束的光谱生成对抗网络的损失函数表示为:;
其中, 、 和 分别是GAN网络的生成器损失函数、判别器损失函数和感知损失函数, 为内容一致性约束损失, , 和 分别是外 部矫正损失权 衡参数和内部矫 正损失权衡参数 ,,
, 是温标参数, 表
示合成帧在多层感知器的第l层空间位置s的输出特征, 代表相应的正向特征, 代表其他负向特征,L表示多层感知器的层数,S表示第l层多层感知器的位置,N表示负样本的数量,X是作为输入的预处理后的红外图像, 表示连续输入预处理后的红外图像, 表示连续生成的中间态图像, 表示 在多
层感知器的第l层的差异, 表示 在多层感知器的第l层的差异,表示 在多层感知器的第l层的差异, 表示
在多层感知器的第l层的差异;所述GAN网络的每一层之后接有一个多层感知器。
2.根据权利要求1所述的船舰高光谱图像生成方法,其特征在于,步骤S4中,频谱注意机制SA表达式为: ;其中, 是作为自注意力机制输入的中间态图像, 和
是可学习的参数,H表示图像高度,W表示图像的宽度,C表示颜色通道数,Q表示查询,K表示键,V表示值。
3.根据权利要求1所述的船舰高光谱图像生成方法,其特征在于,步骤S4中,所述掩膜引导的光谱变换器包括多个串联的注意力区块,第一个注意力区块的输入侧与嵌入层连接;对于,第一~第i个注意力区块,相邻两个注意力区块之间通过下采样层连接;对于第i~第M个注意力区块,相邻两个注意力区块依次通过上采样层、卷积层连接;第一个注意力区块的输出与最后一个上采样层的输出进行通道连接,第二个注意力区块与第K‑1个上采样层的输出进行通道连接,依此类推;最后一个注意力区块与映射层连接,所述映射层的输出与嵌入层的输入拼接;其中,M为注意力区块的数量,1<i≤M,K为上采样层的数量。
4.根据权利要求1所述的船舰高光谱图像生成方法,其特征在于,所述基于内容一致性约束的光谱生成对抗网络包括依次连接的生成器、多层感知器和鉴别器。
5.根据权利要求4所述的船舰高光谱图像生成方法,其特征在于,所述生成器包括多个串联的卷积层、残差块、上采样层和输出卷积层;所述鉴别器包括多个串联的卷积层和全连接层。
6.根据权利要求5所述的船舰高光谱图像生成方法,其特征在于,所述残差块包括依次连接的第一卷积层、第一归一化层、激活函数、第二卷积层、第二归一化层;所述第二归一化层的输出与第一卷积层的输入拼接后,作为下一残差块的输入,最后一个残差块的输出与该残差块第一卷积层的输入拼接后,作为所述上采样层的输入。
7.根据权利要求1~6之一所述的船舰高光谱图像生成方法,其特征在于,步骤S4中,对光谱变换器的输出进行处理的具体实现过程包括:对光谱变换器的输出进行卷积操作,将卷积操作的输出结果与所述初步光谱特征相加,得到生成图像。
8.一种终端设备,包括存储器、处理器及存储在存储器上的计算机程序;其特征在于,所述处理器执行所述计算机程序,以实现上述权利要求1~7之一所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序/指令;其特征在于,所述计算机程序/指令被处理器执行时实现上述权利要求1~7之一所述方法的步骤。
10.一种计算机程序产品,包括计算机程序/指令;其特征在于,该计算机程序/指令被处理器执行时实现上述权利要求1~7之一方法的步骤。