1.一种生成多对抗网络结构的遥感图像空谱融合方法,包括对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理;对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像;
其特征在于,生成多对抗网络结构的训练过程包括:
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络,并在通道维度上进行拼接形成第一拼接图像;
将上采样前的低分辨率多光谱图像经过两层卷积网络后,与所述第一拼接图像再次拼接形成第二拼接图像,并对第二拼接图像进行下采样,通过生成器进行转置卷积解码重建出融合图像;
将重建出的所述融合图像作为生成图像,将高分辨率多光谱图像作为样本图像,并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分;
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率;
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别,返回第一概率值;
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别,返回第二概率值;
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别,返回第三概率值;
使用加权平均方式对第一概率值和第二概率值进行处理,使用动态加权平均方式对得到的加权概率值与第三概率值进行处理,并将处理后的返回值传输给生成器;
采用联合训练的对抗方式,对各个生成器和各个判别器进行训练,直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。
2.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法,其特征在于,所述对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理包括对卫星遥感图像数据集进行插值处理,使得卫星遥感图像满足生成多对抗网络结构所需尺寸;即裁剪相同区域的多光谱图像与全色图像,使得高分辨率的多光谱图像和全色图像图像大小为4N×4N,低分辨率的多光谱图像大小为N×N;采用双三次插值方法对低分辨率多光谱图像进行4倍上采样,上采样后的低分辨率的多光谱图像的大小为4N×4N;使用梯度算子将全色图像中水平与垂直方向上的梯度信息图提取出来,两张梯度信息图像大小均为4N×4N,N为分辨率尺寸。
3.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法,其特征在于,使用动态加权平均方式对得到的加权概率值与第三概率值进行处理所采用的公式包括:其中,Wi(xi)表示判别器i对其返回的概率值xi的权值,xi为判别器i返回的概率值,ai表示判别器i对应取[0,1)中的某定值,σi由Wi(1)=0.9时确定,X为最后输出结果,即动态加权平均后的概率值,i=1表示光谱判别器,i=2表示结构判别器。
4.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法,其特征在于,生成器的损失函数 表示为:其中,K表示卫星遥感图像训练样本的数量; 表示在
生成器和判别器之间的对抗损失,N表示判别器数量;Di(G(x))表示对训练样本x的生成图像G(x)在判别器i的判别结果; 旨在使得融合图像和真实的高分辨率的多光谱图像足够接近,并保留光谱信息,λ表示平衡参数,Z表示高分辨率的多光谱图像, 表示由包含低分辨率多光谱图像,水平方向全色图梯度信息图和垂直方向全色图梯度信息图的生成器所产生的生成图像,Y表示低分辨率的多光谱图像, 表示水平方向全色图的梯度信息, 表示垂直方向全色图的梯度信息;
旨在保留全
色图像的结构信息,是一个控制两个约束部分之间权衡的正则参数。
5.根据权利要求1所述的一种生成多对抗网络结构的遥感图像空谱融合方法,其特征在于,判别器的损失函数 表示为:其中, 表示光谱判别器的损失函数,在光谱判别器中,利用Mspectrum作为参考,来判别输入的图像是Fspectrum还是Zspectrum; 表示普通结构判别器的损失函数,在普通结构判别器中,利用全色图像作为参考,来判别输入的图像是Fstructure还是Zstructure; 表示梯度信息结构判别器的损失函数,在梯度信息结构判别器中,利用全色图中水平与垂直方向上的梯度信息图作为参考,来判别输入的图像是Fgradient还是Zgradient;Fspectrum表示生成图像的光谱部分,Mspectrum表示低分辨率多光谱图像的光谱部分,Zspectrum表示高分辨率多光谱图像的光谱部分;P表示全色图,Fstructure表示生成图像的结构部分,Zstructure表示高分辨率多光谱图像的结构部分;R表示全色图的梯度信息结构部分,Fgradient表示生成图像的梯度信息结构部分,Zgradient表示高分辨率多光谱图像的梯度信息结构部分。
6.一种生成多对抗网络结构的遥感图像空谱融合系统,包括图像采集装置、图像预处理装置和图像融合装置,所述图像采集装置用于采集卫星遥感图像数据集,所述图像预处理装置用于对卫星遥感图像数据集中的多光谱图像和全色图像进行预处理,所述图像融合装置用于对预处理后的图像采用训练完成后的生成多对抗网络结构生成遥感融合图像;
其特征在于,所述图像融合装置包括输入模块、生成多对抗网络结构模块以及输出模块,所述输入模块用于输入预处理后的图像,所述生成多对抗网络结构模块用于对预处理后的图像进行处理,生成遥感图像融合图像,所述输出模块用于输出所述生成多对抗网络结构模块处理后的融合图像,其中:生成多对抗网络结构的训练过程包括:
将上采样后的低分辨率多光谱图像以及全色图像的水平梯度信息图像和垂直梯度信息图像分别经过三层卷积网络,并在通道维度上进行拼接形成第一拼接图像;
将上采样前的低分辨率多光谱图像经过两层卷积网络后,与所述第一拼接图像再次拼接形成第二拼接图像,并对第二拼接图像进行下采样,通过生成器进行转置卷积解码重建出融合图像;
将重建出的所述融合图像作为生成图像,将高分辨率多光谱图像作为样本图像,并分别将所述生成图像和所述样本图像划分为结构部分和光谱部分;
利用结构判别器和光谱判别器分别判别出生成图像的光谱部分和结构部分对应为样本图像的光谱部分和结构部分的概率;
利用普通结构判别器对生成图像的普通结构信息图和样本图像的普通结构信息图进行判别,返回第一概率值;
利用梯度结构判别器对生成图像的梯度信息图与全色图中的梯度信息图进行判别,返回第二概率值;
利用光谱判别器对生成图像的光谱部分和样本图像的光谱部分进行判别,返回第三概率值;
使用加权平均方式对第一概率值和第二概率值进行处理,使用动态加权平均方式对得到的加权概率值与第三概率值进行处理,并将处理后的返回值传输给生成器;
采用联合训练的方式,对各个生成器和各个判别器进行训练,直至生成器和各个判别器的损失函数达到收敛或者达到训练迭代轮数。