1.一种基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,包括以下步骤:步骤A,将真实图像Iorig和掩膜图像Imask进行连接,生成待修复图像Iinput作为输入,通过卷积操作获得缺失图像特征图,对缺失图像特征图进行通道切割输出四个同等通道大小的新缺失特征图;
步骤B,构建残差多通道空间融合注意力编码器,分别输入新缺失特征图,并进行特征连接,输出粗略的修复图像Iinpainted1;
步骤C,构建残差多尺度空间注意力生成器,输入粗略的修复图像Iinpainted1,输出不同尺度的修复图像Iinpainted2(n);
步骤D,将不同尺度的修复图像Iinpainted2(n)和不同尺度的修复图像缺失区域输入多尺度鉴别器中,判断其真假;
步骤E,多尺度鉴别器和残差多尺度空间注意力生成器依据不同的损失函数,对生成对抗网络修复模型进行训练优化;
步骤F,利用步骤E训练得到的对抗网络修复模型,完成对待修复图像的修复,输出修复图像Iinpainted2。
2.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤A的具体实现步骤如下:步骤A1,构建包含缺失区域的待修复图像Iinput与真实图像Iorig数据对;
步骤A2,将真实图像Iorig与掩码数据集图像Imask进行逐元素相乘,得到包含缺失区域的待修复图像Iinput;
步骤A3,对待修复图像Iinput进行卷积操作,获得其缺失图像特征图,对缺失图像特征图进行通道切割,输出四个同等通道大小的新缺失图像特征图。
3.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤B的具体实现步骤如下:步骤B1,在编解码器结构的基础上联合残差块和空间注意力机制构建残差多通道空间融合注意力生成器;
步骤B2,确保残差多通道空间融合注意力生成器中的编码器是在U‑Net解码器的基础上逐层加入残差模块和通道空间融合注意力机制,多尺度解码器为U‑Net的解码器结构;
步骤B3,对残差模块采用ReLU激活函数和InstanceNorm归一化函数进行处理;
步骤B4,由卷积层通道特征图经过自适应平均池化层和自适应最大池化层进行特征压缩输出大小为1×1×C的特征向量;利用Sigmoid函数来生成通道权重;将通道注意力机制网络的输入图像特征图的每个通道分别乘以对应通道的权重值;
步骤B5,将新缺失图像特征图输入空间注意力机制网络,并提取缺失区域补丁并计算注意力分数值,最后对缺失区域使用注意力值加权后的上下文进行填充;
步骤B6,对多尺度解码器采用ReLU激活函数、InstanceNorm归一化函数进行处理。
4.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤C的具体实现步骤如下:步骤C1,建立生成器网络模型,生成器网络结构使用基于U‑Net的编解码器网络结构;
步骤C2,编码器在U‑Net解码器的基础上逐层加入了残差模块,结合空间注意力机制逐层填充缺失区域;
步骤C3,对残差模块采用ReLU激活函数、InstanceNorm归一化函数进行处理;
步骤C4,空间注意力机制通过计算缺失区域内外补丁间的余弦相似度,在语义相似度的基础上计算其注意力分数,并根据该注意力分数对上下文进行加权填充缺失区域;
步骤C5,对解码器采用ReLU激活函数、InstanceNorm归一化函数进行处理;
步骤C6,编码器输出不同通道修复特征图逐层进行特征连接,获得通道融合后的新特征图,对特征图进行解码输出不同尺度的修复图像Iinpainted2(n)。
5.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤D的具体实现步骤如下:步骤D1,选用的多尺度鉴别器包括全局鉴别器和局部鉴别器,其中,多尺度全局鉴别器用于判断不同尺度图像的全局一致性,多尺度局部鉴别器用于判断不同尺度图像的局部一致性;
步骤D2,将真实图像根据不同尺度的修复图像Iinpainted2(n)调整为与修复图像Iinpainted2(n)相同的尺寸;
步骤D3,将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入到全局鉴别器网络,计算不同尺度的图像对抗损失Lglobal(n);
步骤D4,将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig中已知区域内的像素都置为0,得到只保留了修复区域的修复图像和真实图像,分别输入到局部鉴别器网络,计算不同尺度的图像对抗损失Llocal(n);
步骤D5,得到不同尺度图像下的全局对抗损失Lglobal(n)和局部对抗损失Llocal(n),对其分别求平均损失Lglobal(ave)和Llocal(ave),多尺度鉴别器损失L为二者之和。
6.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤E的具体实现步骤如下:步骤E1,将粗略修复图像Iinpainted1与真实图像Iorig比较,求重构损失LG1;
步骤E2,将不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入多尺度鉴别器中的全局鉴别器中,并将其判断结果反馈给残差多尺度空间注意力生成器,继续进行训练;
步骤E3,将只保留了修复区域的不同尺度的修复图像Iinpainted2(n)和真实图像Iorig分别输入多尺度鉴别器中的局部鉴别器中,并将其判断结果反馈给残差多尺度空间注意力生成器,继续进行训练;
步骤E4,计算残差多尺度空间注意力生成器损失LG2,其中损失LG包括平均L1损失和对抗损失;
步骤E5,重复迭代以上操作,不断对生成对抗网络模型进行训练,直至训练稳定,趋于拟合,得到最优的修复模型。
7.根据权利要求1所述的基于对抗多尺度与残差多通道空间注意力的图像修复方法,其特征在于,所述步骤F的具体实现步骤如下:步骤F1,对待修复图像Iinput进行卷积操作获得缺失图像特征图,对缺失图像特征图进行通道切割输出四个同等通道大小的新缺失图像特征图;
步骤F2,输入新缺失图像特征图到残差多通道空间融合注意力编码器结构;
步骤F3,将经过填充的四个通道新修复图像特征图进行concat连接,得到一个完整的特征图,并输入到残差多通道空间融合注意力网络的解码器中,输出粗略的修复图像Iinpainted1;
步骤F4,输入粗略的修复图像Iinpainted1到残差多尺度空间注意力编码器结构,经过6层下采样卷积,各层卷积输出特征图分别记为X1、X2、X3、X4、X5、X6,同时每层卷积层伴随着一个残差模块用于获取更深层次的特征;
步骤F5,将X6与X5同时输入注意力机制中获得特征图X7,X7与X4同时输入注意力机制中获得特征图X8,X8与X3同时输入注意力机制中获得特征图X9,X9与X2同时输入注意力机制中获得特征图X10,X10与X1同时输入注意力机制中获得特征图X11;
步骤F6,将X7与X6进行特征连接获得UPX1,X8与UPX1上采样卷积得到的特征图进行特征连接获得UPX2,X9与UPX2上采样卷积得到的特征图进行特征连接获得UPX3,X10与UPX3上采样卷积得到的特征图进行特征连接获得UPX4,X11与UPX4上采样卷积得到的特征图进行特征连接获得UPX5,再将UPX5输入两层卷积层中得到特征图UPX6;
步骤F7,将UPX1,UPX2,UPX3,UPX4,UPX5,UPX6依次输入卷积层中进行解码输出不同尺度的修复图像;其中UPX6作为最终输出图像,其它尺度的图像则用于求对抗损失和平均L1损失。