1.一种基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,该图像合成法包括以下步骤S1、获取图像训练数据集及该图像训练数据集对应的目标图像一;
S2、对所述训练图像数据进行预处理,得到源图像补丁;
S3、建立生成式对抗网络,并设置网络层数、训练批数和混合损失函数,在第一层卷积运算后引入自注意力机制,得到具有全局信息表达能力的图像合成网络;具体步骤如下:S31、建立生成式对抗网络,该生成式对抗网络由生成器网络和判别器网络两部分组成;具体步骤为:将所述源图像补丁输入生成对抗网络中的生成器网络,输出目标图像二,所述目标图像二为分辨率、模态不同的图像;
根据所述目标图像一中各像素点的像素值和所述目标图像二中对应的像素值,确定生成器网络中的混合损失函数;
根据所述混合损失函数,将所述目标图像二与目标图像一中对应的像素点进行比较,对比对应的混合损失函数值,得到最小化混合损失函数时的生成目标图像;
通过判别器网络得到所述生成目标图像属于所述目标图像一或所述目标图像二的概率,将所述概率进行指数运算或对数运算得到判别损失以训练所述判别器网络,并将所述判别损失作为所述生成器网络的生成损失值,进一步训练所述生成器网络以提高生成器网络的性能;
将所述图像训练数据集中的训练样本逐批次输入训练完成后的生成器网络,输出新的训练结果图像,根据所述新的训练结果图像,通过反向传播得到生成器梯度,根据所述梯度更新生成器网络的参数,得到最小化混合损失函数时的生成式对抗网络;
S32、在生成器网络中引入自注意力机制,建立图像区域间的长程依赖性,进而得到具有全局信息表达能力的图像合成网络;
S4、将所述源图像补丁输入到所述图像合成网络中,输出所述目标图像一的合成结果。
2.根据权利要求1所述的基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,所述生成器网络为全卷积神经网络。
3.根据权利要求1所述的基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,所述判别器网络为卷积神经网络。
4.根据权利要求1所述的基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,所述混合损失函数为MS‑SSIM+L1混合损失函数。
5.根据权利要求1所述的基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,所述混合损失函数的表达式为:其中, 表示混合损失函数, 表示多尺度结构相似损失函数, 表示L1损失函数,为超参数,表示分配给损失一 的权重大小, 表示标准差为 的高斯滤波器,下标G为高斯分布参数,M表示不同采样时的目标图像一对应的尺度。
6.一种基于多尺度结构相似性和长程依赖性的图像合成装置,上述装置实现权利要求
1‑5任一项所述的基于多尺度结构相似性和长程依赖性的图像合成法,其特征在于,所述图像合成装置包括:获取模块,用于获取图像训练数据集及该图像训练数据集对应的目标图像一;
预处理模块,用于对所述图像训练数据集进行预处理,得到源图像补丁;
构建模块,用于建立生成式对抗网络,并设置网络层数、训练批数和混合损失函数,在第一层卷积运算后引入自注意力机制,得到具有全局信息表达能力的图像合成网络;
合成模块,用于将源图像补丁输入到上述多尺度结构相似性和长程依赖性的图像合成网络中,输出所述目标图像一的合成结果。
7.根据权利要求6所述的基于多尺度结构相似性和长程依赖性的图像合成装置,其特征在于,所述构建模块中,生成式对抗网络由生成器网络和判别器网络两部分组成,生成器网络为全卷积神经网络,判别器网络为卷积神经网络。
8.根据权利要求6所述的基于多尺度结构相似性和长程依赖性的图像合成装置,其特征在于,所述构建模块中还包括网络训练过程,基于图像训练数据集中的训练样本,通过反向传播算法有监督的最小化混合损失函数时的生成式对抗网络,引入自注意力机制,得到具有全局信息表达能力的图像合成网络。