利索能及
我要发布
收藏
专利号: 2021105736933
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,包括:实时获取待检测图像,对待检测图像进行预处理;将预处理后的图像输入到训练好的图像超分辨率重建模型中,得到高清重建图;采用峰值信噪比和结构相似性对重建图进行评价,根据评价结果对高清重建图进行标记;

对图像超分辨率重建模型进行训练的过程包括:S1:获取原始高清图片数据集,采用双三次插值降解模型对数据集中的图片进行缩放;

S2:对缩放后的数据集进行预处理,得到训练数据集;

S3:将训练数据集中的每个图像数据分别输入到图像超分辨率重建模型中的浅层特征通道和深层特征通道中进行特征提取;

S4:采用第一卷积层提取输入图像的初始特征;将初始特征输入到信息级联模块中,聚合卷积层的层级特征信息;

S5:将信息级联模块聚合的层级特征信息输入到改进的残差模块中,得到通道上的关联性和全局空间上的依赖信息;

S6:采用非局部空洞卷积块对依赖信息进行全局特征提取,得到最终的深层特征图;

S7:采用第二卷积层提取输入图像的初始特征;将初始特征输入到改进的VGG网络中,提取图像的浅层特征,得到浅层特征图;

S8:将深层特征图和浅层特征图进行融合,对融合特征图进行上采样,得到高清重建图;

S9:利用损失函数约束高清重建图像与原始高清图像之间的差异,不断调整模型的参数,直到模型收敛,完成模型的训练。

2.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,采用双三次插值降解模型对数据集中的图片进行缩放的倍数为2倍、3倍、4倍和8倍。

3.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,双三次插值降解模型的公式为:LR HR

I =HdnI +n

LR HR

其中,I 表示低分辨率图像,Hdn表示降解模型,I 表示原始高分辨率图像,n表示额外的噪音。

4.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,对缩放后的数据集进行预处理的过程包括对图像进行增强处理,包括对图像进行平移,水平和竖直方向的翻转处理;将增强后的数据分割为不同的小图像块,将分割后的图像进行集合,得到训练数据集。

5.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,信息级联模块包括堆叠10次特征聚合结构;特征聚合结构包括至少三层卷积神经网络、特征通道合并层、通道注意力层和通道数变换层,各个层卷积神经网络依次连接,且除最后一层卷神经网络外的各个层卷积神经网络的输出端支路连接特征通道合并层,特征通道合并层、通道注意力层和通道数变换层依次连接,构成信息级联模块;该模块处理图像数据的过程包括:首先使用各层卷积神经网络依次对输入图像进行特征信息的提取,之后将每层卷积提取的特征信息在特征通道合并层上合并,使用通道注意力机制对合并的信息进行重要性区分,最后将通道数降为输入通道数大小,重复上述步骤10次,得到聚合卷积层的层级特征信息。

6.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,改进的残差模块包括:残差网络结构、通道注意力机制层和空间注意力机制层,残差网络结构包括卷积神经网络层、非线性激活层和卷积神经网络层;该模块处理图像数据的过程包括:将层级特征信息输入到残差网络结构中提取特征信息,将提取到的特征信息使用通道注意力机制获取通道上的关联性,再往下传递,使用空间注意力机制获取全局空间上的依赖性。

7.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率方法,其特征在于,非局部空洞卷积块包括:四层并行的膨胀参数分别为1、2、4、6的空洞卷积层和三层普通卷积神经网络层;该模块处理图像数据的过程包括:首先采用四种不同膨胀参数的空洞卷积和两种普通卷积神经网络分别对改进的残差网络输入的依赖信息进行特征信息提取;然后将四种空洞卷积获取的特征信息在特征通道上进行融合,普通卷积神经网络提取的特征信息则按像素矩阵的值进行融合;最后将这两种融合的特征信息相加,获取全局的特征信息。

8.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,改进的VGG网络结构包括:10层普通卷积层和3层池化层,将各个池化层嵌入到普通卷积层中,得到VGG网络结构;该模块处理图像数据的过程包括:首先使用2层卷积和一层池化提取64个通道特征信息,之后使用使用2层卷积和一层池化提取128个通道特征信息,然后使用3层卷积和一层池化提取512个通道特征信息,最后再使用3层卷积提取512通道的信息后还原为64通道;其中,池化层使用padding保持特征尺度不变。

9.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,图像超分辨率重建模型的损失函数表达式为:其中,θ表示模型的参数量,CHR表示超分辨率计算方程, 和 分别表示第i张低分辨率图像和第i张对应的高分辨率图像,N表示数据集中图像数量,HR表示高分辨率,LR表示低分辨率。

10.根据权利要求1所述的一种基于注意力机制和双通道网络的图像超分辨率重建方法,其特征在于,采用峰值信噪比和结构相似性对重建图进行评价的公式为:其中,PSNR表示峰值信噪比,MSE表示均方误差,MAX表示像素值中的最大值,SSIM表示结构相似性,μX和μY分别表示图像X和图像Y的像素的均值,σX和σY分别表示图像X和图像Y的像素的标准值,σXY表示图像X和图像Y的协方差。