利索能及
我要发布
收藏
专利号: 2024117350523
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征细化网络的图像超分辨率构建方法,其特征在于,包括以下步骤:步骤一:利用DIV2K数据集构建高分辨率和低分辨率图像对, 结合数据增强方法,通过多样化的输入特征设计,涵盖不同类型的退化模式和分辨率需求,用以初始化网络模型并提升训练过程中的泛化能力;

步骤二:构建多尺度特征细化网络:所述网络包括细节提取引擎、全局多尺度上下文模块和特征细化模块;其中,细节提取引擎专注于提取输入图像的边缘特征和细节纹理;全局多尺度上下文模块通过多尺度窗口的分组策略捕获局部和全局信息;特征细化模块则通过上下采样和残差学习机制对特征进行进一步优化与融合,提升图像重构质量;

所述步骤二中细节提取引擎模块通过使用3×3卷积层对输入图像进行初步特征提取,该细节提取引擎模块设计了一种选择性特征增强器,通过设计不同的卷积核权重,来关注或强调输入特征图中不同位置的特征,数学表达式如下:(1)

其中, 表示第 个通道的输出特征, 表示输入特征图, 表示第 个通道的卷积核权重, 表示卷积操作, 表示第 个通道的输入特征;

经过SFE处理后,特征通过ReLU激活函数以及第二层SFE,进一步细化特征:(2)

最后,细节提取引擎模块采用残差连接将原始输入x与增强特征 结合,确保关键信息的保留:(3);

所述步骤二中全局多尺度上下文模块输入特征图 首先通过一个1×1的卷积层进行扩展,然后被分割成几个组,每个组使用不同的窗口大小进行处理;窗口的大小由集合[s1,s2,...,sn]定义,其中每个s对应于不同的窗口大小;对于每个窗口大小s,输入特征图会进行移位以捕获不同的空间上下文;移动后的特征图表示为:(4)

其中:b是批量大小,c是通道数,h和w分别是特征图的高度和宽度,滚动操作在空间上循环地移动特征图,用 表示移动后的特征图;

基于移动后的特征图,应用注意力机制来捕获每个窗口内的空间依赖性;注意力机制首先将特征投影到查询Q、键K和值V表示中,如下式所示:(5)

其中,WQ、WK和WV是能够学习的权重矩阵;自注意力权重的计算如下:(6)

其中,A表示权重矩阵, 是键向量的维度;输出特征的计算如下:(7)

其中 表示矩阵乘法;所有窗口的输出特征通过1×1卷积层进行拼接:(8);

步骤三:在训练过程中,我们通过最小化L1损失函数来优化多尺度特征细化网络模型的参数,使用Adam优化算法动态调整学习率,以减少重构图像与真实高分辨率图像之间的差异,增强模型的细节恢复能力,具体优化目标为:其中 表示由模型参数 生成的重建图像,N是训练集中的图像数量;

步骤四:利用训练完成的多尺度特征细化网络模型对低分辨率图像执行超分辨率处理,以产生高分辨率图像作为输出,随后,我们在测试数据集Set5、Set11、B100、Urban100、Manga109上评估该模型,通过计算峰值信噪比PSNR和结构相似性SSIM指标来验证其性能的优越性。

2.根据权利要求1所述的基于多尺度特征细化网络的图像超分辨率构建方法,其特征在于:所述特征细化模块通过一系列下采样和上采样操作来高效捕获和重建图像中的高频细节;该特征细化模块首先对输入特征进行1×1卷积投影得到特征 ,然后对此特征进行两次2×2卷积的下采样,接着使用双线性插值进行上采样,并通过5×5卷积和GELU激活对其进行细化。

3.根据权利要求2所述的基于多尺度特征细化网络的图像超分辨率构建方法,其特征在于:所述下采样和上采样的数学表达式如下:(9)

然后FRM将上采样后的特征与之前的下采样输出进行融合,确保细节的保留和去噪性能的提升;上采样和下采样分别特征融合的数学表达式如下:(10)

最终输出的特征通过残差连接与原始输入结合:

(11)

指将输入特征图v和经过变换后的特征图 在通道维度上进行拼接;

是一个投影层,用于将卷积层的输出调整到与原始输入相同的维度;通过将输入特征图与经过一系列变换后的特征图相加,来实现信息的流动和特征的提取。