利索能及
我要发布
收藏
专利号: 2024113463359
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于频率信息反馈的图像超分辨率方法,其特征在于,包括:获取待处理的低分辨率图像并进行预处理,将预处理后的低分辨率图像输入图像超分辨率网络,所述图像超分辨率网络包含多个时间步循环结构并按照时间步顺序展开;

将所述低分辨率图像输入浅层特征提取模块,以获取浅层特征,并输入深层特征提取模块;

深层特征提取模块根据特征层次深度顺序获取多层次深层特征,并输入频率信息反馈模块;

所述深层特征提取模块根据特征层次深度顺序获取多层次深层特征,并输入频率信息反馈模块的步骤,具体包括:深层特征提取模块获取到浅层特征,所述深层特征提取模块包括多个残差聚合块,每个残差聚合块对应一个特征层次,所述多个残差聚合块按照对应特征层次的深度顺序,从浅至深的线性串行连接;

所述残差聚合块根据浅层特征获取深层特征,所述获取深层特征的算法如下:其中, 表示深层特征, 表示深层特征提取, 表示浅层特征,表示时间步,0表示特征层次为浅层,表示当前残差聚合块对应的特征层次, [1,N];

选取多个残差聚合块获取的深层特征作为多层次深层特征并输入频率信息反馈模块;

所述残差聚合块具体包括:

残差聚合块中包括多个残差结构,每个所述残差结构包括残差支路和原始支路,所述残差支路中包括单一残差块,后一残差结构包含在前一残差结构的残差支路中,以构成残差聚合结构,所述残差聚合结构的最外层残差结构的残差支路中还包括一个1×1卷积块,所述残差块包括两个3×3卷积块和一个ReLU层;

频率信息反馈模块根据频率信息对所述多层次深层特征进行特征调整,以获取关键深层特征,并反馈到下一时间步的深层特征提取模块;

所述频率信息反馈模块根据频率信息对所述多层次深层特征进行特征调整,以获取关键深层特征,并反馈到下一时间步的深层特征提取模块的步骤,具体包括:频率信息反馈模块获取到多层次深层特征,所述频率信息反馈模块包括频率信息反馈块和一个1×1卷积块,所述1×1卷积块与下一时间步的深层特征提取模块相连,所述频率信息反馈块对所述多层次深层特征进行特征调整;

所述频率信息反馈模块选取关键深层特征并反馈给下一时间步的深层特征提取模块,所述选取关键深层特征的算法如下:其中, 表示关键深层特征, 表示关键深层特征选取, 表示筛选出的多层次深层特征,M表示筛选出的多层次深层特征的数量, ,表示时间步;

反馈给下一时间步的深层特征提取模块的第一个残差聚合块后,输出的深层特征的定义如下:其中, 表示下一时间步的深层特征提取模块的第一个残差聚合块输出的深层特征,表示下一时间步的深层特征提取模块的第一个残差聚合块的深层特征提取,表示合并操作, 表示1×1卷积操作, 表示浅层特征;

当循环至最终时间步时,重建模块根据当前时间步的深层特征提取模块的特征,以重建生成最终高分辨率图像。

2.根据权利要求1所述的基于频率信息反馈的图像超分辨率方法,其特征在于,所述将所述低分辨率图像输入浅层特征提取模块,以获取浅层特征,并输入深层特征提取模块的步骤,具体包括:将低分辨率图像输入浅层特征提取模块;

所述浅层特征提取模块包括两个串行连接的3×3卷积层,根据所述卷积层提取所述低分辨率图像的浅层特征,所述浅层特征提取模块的算法如下:其中, 表示浅层特征, 表示浅层特征提取, 表示低分辨率图像,表示时间步,0表示特征层次为浅层;

将获取的浅层特征输入深层特征提取模块。

3.根据权利要求1所述的基于频率信息反馈的图像超分辨率方法,其特征在于,所述频率信息反馈块对所述多层次深层特征进行特征调整的步骤,具体包括:频率信息反馈块将多层次深层特征按照通道维度分为i个,划分后的特征 ,其中i表示划分后的特征序数,表示划分后的特征维度,H表示特征高度,W表示特征宽度;

获取所有划分后的特征对应的二维DCT频率分量,所述获取所有划分后的特征对应的二维DCT频率分量的具体公式如下:其中, 表示 维向量, ,2DDCT表示二维DCT频率分量, 是对应于的二维频率分量, , ;

根据合并操作获取多层次深层特征的整体向量,所述合并操作的算法如下:其中,Freq表示多层次深层特征的整体向量, , ,表示整体特征维度, 表示合并操作;

以最终获取经过频率信息调整后的特征,所述最终获取经过频率信息调整后的特征的公式如下:其中, 表示sigmoid转换后的向量值, 表示将向量的值转换到0‑1之间, 表示经过频率信息调整后的特征。

4.根据权利要求1所述的基于频率信息反馈的图像超分辨率方法,其特征在于,所述当循环至最终时间步时,重建模块根据当前时间步的深层特征提取模块的特征,以重建生成最终高分辨率图像的步骤,具体包括:重建模块包括重建支路和上采样支路,所述重建支路包括两个3×3卷积块和一个反卷积层,所述上采样支路包括一个上采样支路;

以重建生成最终高分辨率图像,所述重建生成的算法如下:

其中, 表示最终高分辨率图像, 表示重建操作, 表示上采样操作, 表示最终时间步的深层特征提取模块的特征, 表示低分辨率图像,T表示最终时间步。

5.一种基于频率信息反馈的图像超分辨率系统,其特征在于,包括:采集模块,用于获取待处理的低分辨率图像并进行预处理,将预处理后的低分辨率图像输入图像超分辨率网络,所述图像超分辨率网络包含多个时间步循环结构并按照时间步顺序展开;

浅层特征提取模块,用于将所述低分辨率图像输入浅层特征提取模块,以获取浅层特征,并输入深层特征提取模块;

深层特征提取模块,用于深层特征提取模块根据特征层次深度顺序获取多层次深层特征,并输入频率信息反馈模块;

所述深层特征提取模块根据特征层次深度顺序获取多层次深层特征,并输入频率信息反馈模块的步骤,具体包括:深层特征提取模块获取到浅层特征,所述深层特征提取模块包括多个残差聚合块,每个残差聚合块对应一个特征层次,所述多个残差聚合块按照对应特征层次的深度顺序,从浅至深的线性串行连接;

所述残差聚合块根据浅层特征获取深层特征,所述获取深层特征的算法如下:其中, 表示深层特征, 表示深层特征提取, 表示浅层特征,表示时间步,0表示特征层次为浅层,表示当前残差聚合块对应的特征层次, [1,N];

选取多个残差聚合块获取的深层特征作为多层次深层特征并输入频率信息反馈模块;

所述残差聚合块具体包括:

残差聚合块中包括多个残差结构,每个所述残差结构包括残差支路和原始支路,所述残差支路中包括单一残差块,后一残差结构包含在前一残差结构的残差支路中,以构成残差聚合结构,所述残差聚合结构的最外层残差结构的残差支路中还包括一个1×1卷积块,所述残差块包括两个3×3卷积块和一个ReLU层;

频率信息反馈模块,用于频率信息反馈模块根据频率信息对所述多层次深层特征进行特征调整,以获取关键深层特征,并反馈到下一时间步的深层特征提取模块;

所述频率信息反馈模块根据频率信息对所述多层次深层特征进行特征调整,以获取关键深层特征,并反馈到下一时间步的深层特征提取模块的步骤,具体包括:频率信息反馈模块获取到多层次深层特征,所述频率信息反馈模块包括频率信息反馈块和一个1×1卷积块,所述1×1卷积块与下一时间步的深层特征提取模块相连,所述频率信息反馈块对所述多层次深层特征进行特征调整;

所述频率信息反馈模块选取关键深层特征并反馈给下一时间步的深层特征提取模块,所述选取关键深层特征的算法如下:其中, 表示关键深层特征, 表示关键深层特征选取, 表示筛选出的多层次深层特征,M表示筛选出的多层次深层特征的数量, ,表示时间步;

反馈给下一时间步的深层特征提取模块的第一个残差聚合块后,输出的深层特征的定义如下:其中, 表示下一时间步的深层特征提取模块的第一个残差聚合块输出的深层特征,表示下一时间步的深层特征提取模块的第一个残差聚合块的深层特征提取,表示合并操作, 表示1×1卷积操作, 表示浅层特征;

重建模块,用于当循环至最终时间步时,重建模块根据当前时间步的残差特征聚合模块的特征,以重建生成最终高分辨率图像。

6.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1‑4任一项所述的基于频率信息反馈的图像超分辨率方法。

7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;

所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1‑4任一项所述的基于频率信息反馈的图像超分辨率方法。