利索能及
我要发布
收藏
专利号: 2024105970915
申请人: 青海大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合全局信息和多颜色空间的边缘引导图像修复方法,其特征在于,包括:

获取待修复的破损图像;

基于预先构建的边缘引导图像修复模型对待修复的破损图像进行处理,得到修复后的RGB图像;

其中,边缘引导图像修复模型包括边缘补全网络和图像修复网络;

边缘补全网络对待修复的破损图像进行处理,补全待修复的破损图像的缺失边缘,输出修复后的单通道边缘图像;

图像修复网络以修复后的边缘结构图和待修复的破损图像的RGB图作为输入,结合待修复的破损图像的YUV编码图像进行采样,输出修复后的RGB图像;

所述边缘补全网络和图像修复网络均基于编码器‑解码器架构,在编码器和解码器之间插入堆叠的TMC特征交互块,在TMC特征交互块中采用CNN残差网络和Swin注意力结构提取、融合图像中的全局信息和局部信息;

所述边缘补全网络包括边缘编码器、第一TMC特征交互块和边缘解码器,其中,所述边缘编码器包括n个特征交互模块、n个膨胀卷积层和n+1个标准卷积层,n为大于1的正整数;

图像联合特征分别经过第一个标准卷积层和第一个膨胀卷积层,第一个标准卷积层输出的第一局部特征和第一个膨胀卷积层输出的第一非局部特征输入到第一个特征交互模块中,输出第一交互特征;同时第一非局部特征经过第二个膨胀卷积层输出第二非局部特征;第一交互特征输入到第二个标准卷积网络中,输出第二局部特征;第二局部特征和第二非局部特征,输出第二交互特征;依次类推,最后输出的第n交互特征经过一个标准卷积层,输出编码特征;所述图像联合特征为待修复的破损图像经过一个合并通道进行特征联合得到的图像特征;

所述特征交互模块包括合并通道、卷积层、残差连接和批量归一化层;输入的局部特征和非局部特征通过合并通道进行联合操作后由卷积层进行特征变换,结合残差连接后,由批量归一化层进行归一化处理;

所述图像修复网络包括图像编码器、第二TMC特征交互块和图像解码器,其中,所述图像编码器中包括两个分支,在第一个分支中,包括M个标准卷积层和M+1个合并通道;在第二个分支中,包括一个合并通道、M个膨胀卷积层、M个标准卷积层和M个特征细化交互块;

第一个分支中,以合并通道、标准卷积层、合并通道这一方式排列;破损RGB图像、单通道边缘图像和破损灰度图经过一个合并通道进行联合操作后,输入到第一分支中;

破损YUV图像和mask图像经过第M+2个合并通道进行联合操作后分别经过到M膨胀卷积层和M个标准卷积层中,第m,m=1,2,…,M个膨胀卷积层的输出和第m个标准卷积层的输出,经过第m个特征细化交互块,输出第m个细化特征;

第m个细化特征与RGB编码特征通过第一分支中的第m个合并通道进行联合操作进行合并,第一分支中的第M+1个合并通道输出图像编码特征;

所述特征细化交互块包括三个分支,每个分支均包括卷积层、归一化层和激活层,其中,第一个分支输入RGB编码特征,第三个分支输入YUV编码特征;特征细化交互块的第二个分支中还包括合并通道,RGB编码特征和YUV编码特征通过合并通道进行联合操作后,输出的联合特征,联合特征经过卷积层、归一化层和激活层之后,与第一分支输出的特征按元素相乘,输出的融合特征与第三分支的输出通过一个残差连接输出细化特征。

2.如权利要求1所述融合全局信息和多颜色空间的边缘引导图像修复方法,其特征在于,所述待修复的破损图像包括破损RGB图像、破损边缘图、破损灰度图和掩膜图,其中,对破损RGB图像的破损区域进行标注,对标注后的破损RGB图像进行图像掩膜,得到掩膜图;用边缘检测算法处理标注后的破损RGB图像,得到破损边缘图;用灰度化算法处理标注后的破损RGB图像得到破损灰度图。

3.如权利要求1所述融合全局信息和多颜色空间的边缘引导图像修复方法,其特征在于,所述预先构建的边缘引导图像修复模型的构建过程如下:获取数据集,通过数据集对初始边缘引导图像修复模型进行训练优化,得到训练好的边缘引导图像修复模型;

其中,训练优化过程中的损失函数的表达式如下:

L=λrecLrec+λadvLadv+λstyLsty+λperLper

Lrec=||I‑Icomp||

T T

Lsty=Ei[||Φi(I) Φi(I)‑Φi(Icomp) Φi(Icomp)||1]其中,Lrec表示重建损失,Ladv表示对抗损失,Lper表示感知损失,Lsty表示风格损失;λrec、λadv、λsty、λper表示权重系数;I是原始图像,即数据集中破损图像的RGB图像,Icomp是输出的修复后的RGB图像;D()为判别器,G()为图像修复网络,Ib‑r和Ib‑y分别代表待修复的破损图像的RGB图和YUV图;E为求期望的公式符号,I~pdata代表的是I服从pdata分布;Φi(I)是指把I输入到训练好的VGG网络,取第i层得到的激活图;Ni是φi(I)中像素的个数。

4.一种融合全局信息和多颜色空间边缘引导图像修复系统,其特征在于,包括:

图像获取模块,用于获取待修复的破损图像;

图像处理模块,用于基于预先构建的边缘引导图像修复模型对待修复的破损图像进行处理,得到修复后的RGB图像;

其中,边缘引导图像修复模型包括边缘补全网络和图像修复网络;

边缘补全网络对待修复的破损图像进行处理,补全待修复的破损图像的缺失边缘,输出修复后的单通道边缘图像;

图像修复网络以修复后的边缘结构图和待修复的破损图像的RGB图作为输入,结合待修复的破损图像的YUV编码图像进行采样,输出修复后的RGB图像;

所述边缘补全网络和图像修复网络均基于编码器‑解码器架构,在编码器和解码器之间插入堆叠的TMC特征交互块,在TMC特征交互块中采用CNN残差网络和Swin注意力结构提取、融合图像中的全局信息和局部信息;

所述边缘补全网络包括边缘编码器、第一TMC特征交互块和边缘解码器,其中,所述边缘编码器包括n个特征交互模块、n个膨胀卷积层和n+1个标准卷积层,n为大于1的正整数;

图像联合特征分别经过第一个标准卷积层和第一个膨胀卷积层,第一个标准卷积层输出的第一局部特征和第一个膨胀卷积层输出的第一非局部特征输入到第一个特征交互模块中,输出第一交互特征;同时第一非局部特征经过第二个膨胀卷积层输出第二非局部特征;第一交互特征输入到第二个标准卷积网络中,输出第二局部特征;第二局部特征和第二非局部特征,输出第二交互特征;依次类推,最后输出的第n交互特征经过一个标准卷积层,输出编码特征;所述图像联合特征为待修复的破损图像经过一个合并通道进行特征联合得到的图像特征;

所述特征交互模块包括合并通道、卷积层、残差连接和批量归一化层;输入的局部特征和非局部特征通过合并通道进行联合操作后由卷积层进行特征变换,结合残差连接后,由批量归一化层进行归一化处理;

所述图像修复网络包括图像编码器、第二TMC特征交互块和图像解码器,其中,所述图像编码器中包括两个分支,在第一个分支中,包括M个标准卷积层和M+1个合并通道;在第二个分支中,包括一个合并通道、M个膨胀卷积层、M个标准卷积层和M个特征细化交互块;

第一个分支中,以合并通道、标准卷积层、合并通道这一方式排列;破损RGB图像、单通道边缘图像和破损灰度图经过一个合并通道进行联合操作后,输入到第一分支中;

破损YUV图像和mask图像经过第M+2个合并通道进行联合操作后分别经过到M膨胀卷积层和M个标准卷积层中,第m,m=1,2,…,M个膨胀卷积层的输出和第m个标准卷积层的输出,经过第m个特征细化交互块,输出第m个细化特征;

第m个细化特征与RGB编码特征通过第一分支中的第m个合并通道进行联合操作进行合并,第一分支中的第M+1个合并通道输出图像编码特征;

所述特征细化交互块包括三个分支,每个分支均包括卷积层、归一化层和激活层,其中,第一个分支输入RGB编码特征,第三个分支输入YUV编码特征;特征细化交互块的第二个分支中还包括合并通道,RGB编码特征和YUV编码特征通过合并通道进行联合操作后,输出的联合特征,联合特征经过卷积层、归一化层和激活层之后,与第一分支输出的特征按元素相乘,输出的融合特征与第三分支的输出通过一个残差连接输出细化特征。

5.一种计算机可读存储介质,其特征在于,其存储用于融合全局信息和多颜色空间边缘引导图像修复方法的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~

3任一所述的融合全局信息和多颜色空间边缘引导图像修复方法。

6.一种电子设备,其特征在于,包括:

一个或多个处理器,存储器,以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~3任一所述的融合全局信息和多颜色空间边缘引导图像修复方法。