1.一种图像修复方法,其特征在于,所述图像修复方法包括:获取待修复图像;
将所述待修复图像输入编码器进行特征转化,得到编码特征图像;
根据空间路径对所述编码特征图像进行空间信息特征提取,得到第一特征图像;所述空间路径包含3个步长为2的卷积层,空间路径提取的空间信息特征映射最终为原始图像的
1/8;
根据上下文路径对所述编码特征图像进行上下文信息特征提取,得到第二特征图像;
所述上下文路径包括4个全局平均池化,通过4个全局平均池化,分别得到4倍、8倍、16倍、32倍的特征图像,对所述16倍的特征图像进行注意力操作,得到注意力操作后16倍的特征图;
对所述32倍的特征图像进行注意力操作,得到注意力操作后32倍的特征图;将所述注意力操作后16倍的特征图与所述注意力操作后32倍的特征图进行连接,得到所述第二特征图像;其中,所述注意力操作具体为通过通道信息注意力机制和空间信息注意力机制进行注意力操作;
将所述第一特征图像与所述第二特征图像进行特征融合,得到特征融合图像;
根据若干个残差块对所述编码特征图像进行特征提取,得到第三特征图像;所述残差块的数目为8个;
将所述特征融合图像与所述第三特征图像进行连接,得到连接后融合特征图像;具体包括:在8个所述残差块上加入所述上下文路径和所述空间路径的跳跃连接;根据所述跳跃连接将所述特征融合图像与所述第三特征图像进行连接,得到连接后融合特征图像;
将所述连接后融合特征图像输入解码器进行解码,得到修复好的图像。
2.根据权利要求1所述的一种图像修复方法,其特征在于,所述根据空间路径对所述编码特征图像进行空间信息特征提取,得到第一特征图像,包括:根据第一个步长为2的卷积层对所述编码特征图像进行空间信息特征提取,得到所述编码特征图像的二分之一的特征图像;
根据第二个步长为2的卷积层对所述二分之一的特征图像进行空间信息特征提取,得到所述编码特征图像的四分之一的特征图像;
根据第三个步长为2的卷积层对所述四分之一的特征图像进行空间信息特征提取,得到所述第一特征图像。
3.根据权利要求2所述的一种图像修复方法,其特征在于,所述根据上下文路径对所述编码特征图像进行上下文信息特征提取还包括:根据第一个全局平均池化对所述编码特征图像进行上下文信息特征提取,得到所述编码特征图像的4倍的特征图像;
根据第二个全局平均池化对所述4倍的特征图像进行上下文信息特征提取,得到所述编码特征图像的8倍的特征图像;
根据第三个全局平均池化对所述8倍的特征图像进行上下文信息特征提取,得到所述编码特征图像的16倍的特征图像;
根据第四个全局平均池化对所述16倍的特征图像进行上下文信息特征提取,得到所述编码特征图像的32倍的特征图像。
4.根据权利要求3所述的一种图像修复方法,其特征在于,所述对所述16倍的特征图像进行注意力操作,得到注意力操作后16倍的特征图,包括:对所述16倍的特征图像通过通道信息注意力机制和空间信息注意力机制进行注意力操作,得到注意力操作后16倍的特征图;其中,所述根据对所述16倍的特征图像通过通道信息注意力机制和空间信息注意力机制进行注意力操作,得到注意力操作后16倍的特征图的计算公式为:C×H×W
F∈R
C×1×1
Mc∈R
1×H×W
Ms∈R
其中,F为16倍的特征图像,Mc为一维通道注意力特征图,Ms为二维空间注意力特征图,F'为通道注意力操作后16倍的特征图,F''为注意力操作后16倍的特征图。
5.根据权利要求4所述的一种图像修复方法,其特征在于,所述将所述第一特征图像与所述第二特征图像进行特征融合,得到特征融合图像,包括:将所述第一特征图像与所述第二特征图像进行连接,得到连接后特征图像;
计算所述连接后特征图像的特征权重;
根据所述特征权重对所述连接后特征图像进行特征融合,得到所述特征融合图像。
6.根据权利要求5所述的一种图像修复方法,其特征在于,所述计算所述连接后特征图像的特征权重,包括:通过批量归一化操作对所述连接后特征图像进行规模平衡,得到平衡后连接特征图;
将所述平衡后连接特征图进行池化操作,得到池化后连接特征图;
将所述池化后连接特征图进行卷积操作,得到卷积后连接特征图;
将所述卷积后连接特征图进行池化操作,得到池化后连接特征图;
将所述平衡后连接特征图进行激活函数操作,得到所述连接后特征图像的特征权重。
7.一种图像修复系统,其特征在于,所述图像修复系统:
数据获取模块,用于获取待修复图像;
编码模块,用于将所述待修复图像输入编码器进行特征转化,得到编码特征图像;
第一特征图像提取模块,用于根据空间路径对所述编码特征图像进行空间信息特征提取,得到第一特征图像;所述空间路径包含3个步长为2的卷积层,空间路径提取的空间信息特征映射最终为原始图像的1/8;
第二特征图像提取模块,用于根据上下文路径对所述编码特征图像进行上下文信息特征提取,得到第二特征图像;所述上下文路径包括4个全局平均池化,通过4个全局平均池化,分别得到4倍、8倍、16倍、32倍的特征图像,对所述16倍的特征图像进行注意力操作,得到注意力操作后16倍的特征图;对所述32倍的特征图像进行注意力操作,得到注意力操作后32倍的特征图;将所述注意力操作后16倍的特征图与所述注意力操作后32倍的特征图进行连接,得到所述第二特征图像;其中,所述注意力操作具体为通过通道信息注意力机制和空间信息注意力机制进行注意力操作;
特征融合模块,用于将所述第一特征图像与所述第二特征图像进行特征融合,得到特征融合图像;
第三特征图像提取模块,用于根据若干个残差块对所述编码特征图像进行特征提取,得到第三特征图像;所述残差块的数目为8个;
特征连接模块,用于将所述特征融合图像与所述第三特征图像进行连接,得到连接后融合特征图像;具体包括:在8个所述残差块上加入所述上下文路径和所述空间路径的跳跃连接;根据所述跳跃连接将所述特征融合图像与所述第三特征图像进行连接,得到连接后融合特征图像;
解码模块,用于将所述连接后融合特征图像输入解码器进行解码,得到修复好的图像。
8.一种图像修复设备,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至6任一项所述的一种图像修复方法。
9.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的一种图像修复方法。