利索能及
我要发布
收藏
专利号: 2022100245319
申请人: 辽宁师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于有监督对比学习的多阶段渐进式混合失真图像复原方法,是将待复原的图像输入网络模型中完成图像复原,其特征在于所述网络模型依次按照如下步骤建立:步骤1:制作训练集

步骤1.1:取M张SIDD数据集GT图像,每张图像记为GT_Img1,GT_Img2,...,GT_ImgM;

步骤1.2:将图像GT_Img1,GT_Img2,...,GT_ImgM分别切成50个分辨率大小为256×256的图像块作为清晰图像块并保留,每个清晰图像块分别记为GT_Block1,GT_Block2,...,GT_BlockN,再取一份与清晰图像块相同图像快,每个图像块依次对应记为Preprocess_Block1,Preprocess_Block2,...,Preprocess_BlockN;

步骤1.3:向图像块Preprocess_Block1,Preprocess_Block2,...,Preprocess_BlockN中分别加入角度θ为10,长度l为10的运动模糊,记为Blur_Block1,Blur_Block2,...,Blur_BlockN;

步骤1.4:向图像块Blur_Block1,Blur_Block2,...,Blur_BlockN中分别加入sigma值为25的高斯噪声,记为失真图像块Distorted_Block1,Distorted_Block2,...,Distorted_BlockN;

步骤1.5:选取N个清晰图像块和N个失真图像块并按顺序对应为清晰图像和失真图像对,记为 ,作为训练集;

步骤2:训练网络

步骤2.1:将训练集 ,输进网络;

步骤2.2:约定清晰图像块为干净样本 ,失真图像块为失真样本;

步骤2.3:将失真样本 送入模型的第一阶段 ;

步骤2.3.1:首先将失真样本沿两个邻边的中线,平均切为四块,四个失真样本块分别记为Distorted_TL,Distorted_TR,Distorted_BL,Distorted_BR;

步骤2.3.2:将四个失真样本块送入一个1×1卷积和双池化通道注意力块,即先经过一个1×1卷积 + ReLU激活函数 + 1×1卷积的组合,然后通过一个并行的平均池化层和最大池化层,再经过一个1×1卷积+ ReLU 激活函数+ 1×1卷积的组合,提取出浅层特征,记为Feature_shallowTL,Feature_shallowTR,Feature_shallowBL,Feature_shallowBR;

步骤2.3.3:将四个浅层特征送入一个编解码器结构中,所述编解码器结构的编码器和解码器分别由3个不同尺度的双池化注意力块组成,不同尺度之间的上下采样操作是通过双线性插值加卷积来完成的,前两个尺度间还存在跳跃连接;具体操作是首先将四个浅层特征送入编码器输出特征,记为Feature_EncoderTL,Feature_EncoderTR,Feature_EncoderBL,Feature_EncoderBR,然后将四个特征合并为两个,记为Feature_EncoderTop和Feature_EncoderBottom,再送入解码器,输出包含上下文信息的特征,记为Feature_ContextTop,Feature_ContextBottom;将编码器和解码器输出的特征分别送入一个1×1卷积,并进行一个合并操作得到输出特征Feature_UnetTop和Feature_UnetBottom;

步骤2.3.4:将输出特征Feature_UnetTop和Feature_UnetBottom送入一个监督注意模块中,该模块首先通过1×1卷积生成残差图像Res_Top和Res_Bottom;然后将输入的四个失真样本块同样合并为两个,记为Distorted_Top和Distorted_Bottom,将它们添加到残差图像块中,得到复原图像块Restored_Top和Restored_Bottom;

步骤2.3.5:对复原图像块Restored_Top和Restored_Bottom进行1×1卷积,通过Sigmoid函数激活生成注意掩码Mask_Top和Mask_Bottom;然后将其与输入特征Feature_ContextTop和Feature_ContextBottom相结合,生成注意增强特征Feature_Top和Feature_Bottom;

步骤2.4:将失真样本 送入模型的第二阶段 ;

步骤2.4.1:将失真样本平均切成上下两块,两个失真样本块分别记为Distorted_Top,Distorted_Bottom;

步骤2.4.2:将两个失真样本块送入与步骤2.3.2相同的结构中,提取出浅层特征,记为Feature_shallowTop,Feature_shallowBottom;

步骤2.4.3:将浅层特征Feature_shallowTop和Feature_shallowBottom,与上一阶段监督注意模块输出的注意增强特征Feature_Top和Feature_Bottom,以及上一阶段输出的编解码器特征Feature_UnetTop和Feature_UnetBottom在特征空间上进行一步加和操作,得到结合后的特征,记为Feature_ConcatTop和Feature_ConcatBottom;

步骤2.4.4:接着将特征Feature_ConcatTop和Feature_ConcatBottom送入与2.3.3相同的编解码器结构中,首先送入编码器输出特征,记为Feature_EncTop和Feature_EncBottom,然后将特征块从两个合并为一个,记为Feature_Whole,再送入解码器,输出包含上下文信息的特征,记为Feature_ContextWhole;将编码器和解码器输出的特征分别送入一个1×1卷积,并进行一个合并操作得到输出特征Feature_UnetWhole;

步骤2.4.5:接着将输出特征Feature_UnetWhole送入与步骤2.3.4相同的监督注意模块中,生成残差图像Res_Whole;然后将输入的两个失真样本块同样合并为一个,记为Distorted_Whole,将它们添加到残差图像块中,得到复原图像块Restored_Whole;

步骤2.4.6:对复原图像块Restored_Whole进行1×1卷积,通过Sigmoid函数激活生成注意掩码Mask_Whole;然后将其与输入特征Feature_ContextWhole相结合,生成注意增强特征Feature_Whole;

步骤2.5:将失真样本 送入模型的第三阶段 ;

步骤2.5.1:将全分辨率的样本块记为Distorted_Full,送入与步骤2.3.2相同的结构中,提取出浅层特征,记为Feature_Full;

步骤2.5.2:将浅层特征Feature_Full,与上一阶段监督注意模块输出的注意增强特征Feature_Whole,以及上一阶段输出的编解码器特征Feature_UnetWhole在特征空间上进行一步加和操作,得到结合后的特征,记为Feature_ConcatFull;

步骤2.5.3:将合并后的特征送入一个原始分辨率网络中,该网络由多个原始分辨率模块串联而成,其中每个模块又是分别由多个双池化注意力模块加上一个1×1卷积层串联而成的,经过该原始分辨率网络后,输出特征Feature_OriginalNet,然后再经由一个1×1卷积,输出残差图像Res_Full;

步骤2.5.3:将残差图像Res_Full与该阶段输入的全分辨率的样本块Distorted_Full合并,输出全分辨率的复原图像,记为Restored_Full;

步骤3:求取损失函数值并确定网络模型

步骤3.1:为每一阶段的输出复原图像与干净样本添加端到端优化损失 及拉普拉斯边缘损失 ;加入对比学习损失 ,对干净样本、失真样本以及复原图像进行特征空间上的约束;

步骤3.2:计算总损失函数值Loss;若epoch达到规定的次数,则网络停止训练,保存最后一轮epoch得到的训练模型为网络模型;否则再一次进入步骤2,循环重复训练。