1.一种基于深度多特征协同学习的图像修复方法,其包括如下步骤:S1.将待修复图像输入一预设的图像特征编码器,通过深度神经网络编码对待修复图像进行有效特征提取,形成有效图像特征集;
S2.所述有效图像特征集通过预设的图像解码器进行解码修复,通过局部和全局判别器后形成修复图像;
其特征在于,所述图像特征编码器由六个卷积层组成,其中三个浅层卷积层用于重新组织纹理特征来表示图像细节,三个深层卷积层用于重新组织结构特征来表示图像语义,得到结构特征集和纹理特征集;
所述图像解码器包括一软门控双特征融合模块,用于融合上述结构特征和纹理特征,一双边传播特征聚合模块,用于均衡通道信息、上下文注意和特征空间之间的特征。
2.如权利要求1所述的图像修复方法,其特征在于,纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充,三个流组合形成输出特征图,然后将输出特征图映射到输入特征的相同大小,所述结构特征和纹理特征的输出满足如下要求:其中,Fcst和Fcte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征,和 分别表示为结构和纹理的重建损失,g(·)是核大小为1的卷积操作,可以将Fcst和Fcte分别映射为彩色图像,Igt和Ist分别表示真实图像及其结构图像,使用边缘保留的图像平滑方法来生成Ist。
3.如权利要求1所述的图像修复方法,其特征在于,所述软门控双特征融合模块包括结构引导的纹理特征单元,用于执行如下算法,Gte=σ(SE(h([Fcst,Fcte]))) (2‑1)其中,Fcst和Fcte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征,h(·)是内核大小为3的卷积操作,SE(·)是一个压缩和激活操作去捕获重要的通道信息,σ(·)是一个Sigmoid激活函数,Gte是用来控制纹理信息的细化程度,F′cte表示具有结构感知的纹理特征,α和β是可学习的参数,⊙表示元素对应乘积, 表示元素对应相加。
4.如权利要求1所述的图像修复方法,其特征在于,所述软门控双特征融合模块包括纹理引导的结构特征单元,用于执行如下算法,Gst=σ(SE(k([Fcst,Fcte]))) (2‑3)其中,Fcst和Fcte分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征,k(·)是内核大小为3的卷积操作,SE(·)是一个压缩和激活操作去捕获重要的通道信息,σ(·)是一个Sigmoid激活函数,Gst来来控制结构信息的细化程度,F′cst表示具有纹理感知的结构特征,γ是一个可学习的参数,⊙表示元素对应乘积, 表示元素对应相加。
Ffu=v([F′cst,F′cte]) (2‑5)其中,F′cte和F′cst分别表示具有结构感知的纹理特征与具有纹理感知的结构特征,v(·)是内核大小为1的卷积操作,Ffu是软门控双特征融合模块的最终输出特征。
5.如权利要求1所述的图像修复方法,其特征在于,所述双边传播特征聚合模块包括一捕捉通道信息融合单元,使用动态核选择网络通过一种自适应核选择的方式来捕捉通道信息,得到特征图F′fu。
6.如权利要求5所述的图像修复方法,其特征在于,所述双边传播特征聚合模块包括一上下文注意融合单元,用来捕获输入图像块之间的联系,并计算余弦相似度,具体执行如下算法:
其中,将特征F′fu划分为不重叠的块, 表示输出特征块之间的余弦相似度,表示通过Softmax函数得到的注意力分数,pi和pj分别是输入特征F′fu的第i个块和第j个块,N是输入特征F′fu的块总数, 表示由注意力分数重建组合特征块后得到的特征图。
7.如权利要求1所述的图像修复方法,其特征在于,所述双边传播特征聚合模块包括一空间信息融合单元,具体执行如下算法:其中, 和 表示空间和范围相似度特征图,xi是输入特征 的第i个特征通道,xj是通道i周围位置j处的相邻特征通道,gαs是用于调整来自相邻特征通道的空间贡献的高斯函数,C(x)是 中的通道位置数,f(·)是点积运算。空间域中,在邻近区域s中探索j以进行全局传播。在范围域中,v是位置i的相邻区域,其大小设置为3×3。
8.如权利要求7所述的图像修复方法,其特征在于,输出特征通道的计算方法为:其中, 和 表示空间和范围相似度特征图,q表示卷积层,内核大小为1。
9.如权利要求8所述的图像修复方法,其特征在于,对每个通道特征进行聚合以获得重建的特征图 然后通过联结卷积将F′fu与 融合得到Fsc,其中 为重组的多通道特征,Ffu为权衡通道信息后得到的特征,Fsc为最终融合修复特征,z是一个卷积操作,其卷积核大小为1。
10.如权利要求1所述的图像修复方法,其特征在于,所述全局和局部判别器由五个卷积层组成,卷积核大小为4,步长为2,除最后一层外,其他所有层都使用斜率为0.2的Leaky ReLu,并且采用频谱归一化实现稳定的训练。