1.一种基于自注意力机制的循环特征推理的图像修复方法,其特征在于,包括以下步骤:S1、构建总体SA‑RFR网络结构,所述SA‑RFR网络结构包括预处理模块、特征推理模块以及自适应重影融合模块;
S2、在SA‑RFR网络结构中以端到端的方式进行训练:给定一个真实图像Igt,一个二进制掩码M,生成一个破损的输入图像Iin,将生成的破损图像Iin和对应的蒙版作为输入,输入至预处理模块;
S3、运用所述预处理模块对破损图像及其蒙版先后进行4次部分卷积操作,在进行第一次部分卷积后加入一个自注意力机制层进行自注意力机制操作,将图像区域局部的细节信息和相对距离较远的细节信息相互关联,实现特征图谱的提取以及蒙版的判定和更新;
S4、将所述预处理模块更新后的蒙版和特征映射输入到特征推理模块,根据已知信息修复出具有高层语义特征的特征图谱;
S5、将所述预处理模块与所述特征推理模块的处理操作进行6次交替循环迭代,并且保存每一次循环迭代后修复的特征图谱;
S6、自适应重影融合模块先把前面6次迭代生成的特征图合并在一起,然后使用自适应重影卷积代替普通卷积,通过三个自适应重影卷积层,处理后输出的特征图谱与特征推理模块最后一次迭代生成的特征图谱连接在一起,再经过一个ReLU激活函数层输出,生成最终的图像修复结果。
2.根据权利要求1所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,在S3中,所述预处理模块每进行一次循环便更新一次蒙版和特征图谱,并在这次循环中被保存,直到进入下一次循环;每次循环的具体过程如下,将生成的破损图像Iin和对应的蒙版M作为输入,即[Iin,M],X2=SA(X1)
其中Wp表示部分卷积, 表示第一次部分卷积,以此类推;SA表示自注意力机制操作;
Xi,Mi,i∈1,2,3,4表示每次经过操作后生成的对应输出。
3.根据权利要求2所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,所述自注意力机制操作具体步骤为:S301、给定输入的特征图为X,使用两个1×1的卷积进行线性变换和通道压缩,生成的特征图谱为θ和γ,具体表示为:θ=Wθ(X),γ=Wγ(X),其中Wθ和Wγ表示1×1的卷积;
S302、然后将特征图谱θ和γreshape成矩阵形式,转置相乘,再经过softmax得到分数图,具体表示为:T
Sj,i=σ(θ(Xi) γ(Xj));
其中Sj,i表示模型在合成第j个区域时对第i个位置的关注程度,即注意力分数,σ表示softmax操作;
S303、将X再通过1×1的卷积进行线性变换,通道数保持不变,然后与所述分数图的矩阵相乘相加,再经过1×1的卷积,得到自注意力特征图;
S304、运用残差神经网络的操作,将自注意力特征图谱和原卷积特征图谱进行加权求和,作为最后的输出;具体表示为:y=aφ+X
a是一个参数,表示整体在施加了自注意力机制之后的特征图谱的权重,需要通过反向传播更新。
4.根据权利要求3所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,获取所述自注意力特征图具体为:β=Wβ(X)
T
gi,j=Sjβ(Xi)
φ=Wφ(gi,j)
其中β表示生成对应的特征图谱;Wβ、Wφ是1×1的卷积操作;β(Xi)的第i行代表第i个通道所有的像素值;S表示生成的分数图;Sj表示分数图的第j列;gi,j的第i行第j列的元素,表示被分数图加权之后的特征图谱的第i个通道的第j个像素的像素值;φ是生成自注意力特征图谱。
5.根据权利要求2所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,在步骤S4中,所述特征推理模块具体为编码器‑解码器(Encoder‑Decoder)结构;所述编码器向下采样6次,所述解码器向上采样3次,经过所述自注意力机制层,再进行3次反卷积操作。
6.根据权利要求5所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,所述特征推理模块循环过程具体为:将预处理模块输出的X4,M4作为特征推理模块的输入;
其中Wi,i∈1,2,3表示第i次普通卷积; 表示第i次扩张卷积;
表示第i次反卷积;KCA表示自注意力机制的操作,此处KCA模块的分数是由以往的递归分数做的加权求和;Fi,i∈1,2,...,6表示每次迭代最后生成的特征图。
7.根据权利要求6所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,所述自适应重影融合模块操作具体为:先把前面6次循环迭代生成的特征图进行合并:
随后进行自适应重影卷积处理,将输出的特征图谱和特征推理模块最后一次迭代生成的特征图谱连接在一起,再经过一个ReLU激活函数层输出:Y=R(F+y3)
其中,CAg表示自适应重影卷积层;B表示批量归一化(BN)层,R表示Relu激活函数层;yi,i∈1,2,3表示每个操作生成的结果;Y表示整个自适应重影融合模块的输出。
8.根据权利要求1所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,所述自适应重影卷积包括:常规卷积、重影生成以及特征图拼接三个步骤。
9.根据权利要求8所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,具体表示为:常规卷积:将特征图X作为输入,通过常规卷积W得到固有特征图I;
I=W(X)=P(B(C(X)))
P(B(C(X)))代表W整个卷积的过程,其中C表示普通卷积层,B表示BN层,P表示PRelu激活函数层;
重影生成:将I每一个通道的特征图Ii,用分组卷积WG来产生自适应重影特征图Gij:其中,P(B(CG(X)))代表分组卷积WG的过程;CG表示分组卷积层;Ii表示固有特征图中的第i个特征图;i表示m个固有特征图中的序列号;j表示对于每个固有特征图中的特征图进行的第j次线性转换;
特征图拼接:将第一步得到的固有特征图I和第二步得到的自适应重影特征图G拼接起来,得到最终结果Y:Y=cat(I,G)。
10.根据权利要求1所述的基于自注意力机制的循环特征推理的图像修复方法,其特征在于,所述基于自注意力机制的循环特征推理的图像修复方法还包括:在图像修复过程中,采用混合损失函数进行图像修复,包括感知损失Lperceptual、样式损失Lstyle、缺失区域的L1 Loss Lhole和已知区域的L1 loss Lvalid。