利索能及
我要发布
收藏
专利号: 202411407368X
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种双路Transformer图像超分辨率方法,其特征在于,包括:获取待处理的低分辨率图像并进行预处理,将预处理后的低分辨率图像输入双路Transformer网络;

浅层特征提取模块获取所述低分辨率图像的浅层特征,以输入到深层特征提取模块;

深层特征提取模块根据所述浅层特征获取深层特征,所述深层特征提取模块包括双路特征融合子模块和全局特征融合子模块,将所述深层特征输入到重建模块;

所述深层特征提取模块根据所述浅层特征获取深层特征的步骤,具体包括:低分辨率图像进行预处理后,输入浅层特征提取模块,以提取所述低分辨率图像的浅层特征,所述浅层特征提取模块包括3×3卷积层,提取所述浅层特征的算法如下:,

其中, 表示浅层特征, 表示浅层特征提取操作, 表示低分辨率图像;

将所述浅层特征输入深层特征提取模块,所述深层特征提取模块根据浅层特征获取深层特征,所述深层特征提取模块包括双路特征融合子模块和全局特征融合子模块;

所述双路特征融合子模块进行双路特征提取并融合;

所述双路特征融合子模块具体包括:

双路特征融合子模块包括多个完全相同的双路特征融合单元,每个所述双路特征融合单元为双路分支结构,所述双路分支结构包括完全相同的两条支路,每条支路包括一个Transformer块,前一双路特征融合单元的Transformer块与后一双路特征融合单元的Transformer块通过残差结构连接,所述残差结构包括原始支路和残差支路,所述残差支路包括一个Concat块和一个1×1卷积块;

所述全局特征融合子模块根据融合后的所述双路特征获取深层特征;

所述全局特征融合子模块具体包括:

全局特征融合子模块根据双路特征融合子模块融合输出后的双路特征获取深层特征,所述全局特征融合子模块包括一个Concat块、一个1×1卷积块和一个3×3卷积块;

所述根据浅层特征获取深层特征的算法如下:

其中, 表示深层特征, 表示深层特征提取操作;

重建模块根据所述深层特征重建生成高分辨率图像。

2.根据权利要求1所述的双路Transformer图像超分辨率方法,其特征在于,所述双路特征融合子模块的具体算法如下:= ( )+ ,

= ( )+ ,

= ( ( , )),

其中, 表示上分支支路的输出特征, 表示下分支支路的输出特征, 表示上分支支路的Transformer块操作, 表示下分支支路的Transformer块操作, 表示上分支支路的输入特征, 表示下分支支路的输入特征, 表示上下分支的融合特征,表示1×1卷积操作, 表示合并操作,表示双路特征融合单元的序数。

3.根据权利要求1所述的双路Transformer图像超分辨率方法,其特征在于,所述Transformer块具体包括:Transformer块包括多头注意力机制层和前馈网络层,Transformer块的具体算法如下:,

其中, 表示Transformer块的输出特征, 表示前馈网络层处理, 表示多头注意力机制层处理, 表示Transformer块的输入特征;

所述多头注意力机制层将前一双路特征融合单元输入当前双路特征融合单元的特征根据点卷积和矩阵变形处理,变换获取查询矩阵、键矩阵和值矩阵,所述查询矩阵、键矩阵和值矩阵的定义如下:其中,表示查询矩阵,表示键矩阵,表示值矩阵,表示ReLU激活函数,表示矩阵变形操作, 表示1×1卷积操作, 表示多头注意力机制层的输入特征;

将所述查询矩阵、键矩阵和值矩阵根据注意力头数量拆分为多个部分,多头注意力机制的算法如下:,

其中, 表示第 个头注意力输出的第个像素的值,表示注意力头数量,表示注意力头上键矩阵和值矩阵的序数,表示高度, 表示宽度,表示像素序数,表示转置矩阵,表示限制分母非零的常量;

根据多头注意力机制获取多头注意力增强特征,获取多头注意力增强特征的算法如下:,

其中, 表示多头注意力机制层最终输出的多头注意力增强特征, 表示3×3卷积操作, 表示多个注意力头的输出合并调整后的特征, 表示多头注意力机制层的输入特征。

4.根据权利要求3所述的双路Transformer图像超分辨率方法,其特征在于,所述前馈网络层具体包括:前馈网络层为残差结构,所述残差结构包括残差支路和原始支路,所述残差支路中包括两个1×1的卷积块、两个GELU层和一个3×3的分组卷积块并按照逆瓶颈结构排列;

所述前馈网络层的算法如下:

其中, 表示前馈网络层最终输出的特征, 表示1×1卷积操作,g表示GELU函数,表示3×3分组卷积操作, 表示多头注意力机制层最终输出的多头注意力增强特征。

5.根据权利要求1所述的双路Transformer图像超分辨率方法,其特征在于,所述全局特征融合子模块的具体算法如下:,

其中, 表示双路特征融合子模块最终融合输出的双路特征, 表示深层特征,表示1×1卷积操作, 表示3×3卷积操作, 表示合并操作, 表示第N个双路特征融合单元的上分支支路输出特征, 表示第N个双路特征融合单元的下分支支路输出特征,N表示双路特征融合子模块中双路特征融合单元的数量。

6.根据权利要求1所述的双路Transformer图像超分辨率方法,其特征在于,所述重建模块根据所述深层特征重建生成高分辨率图像的步骤,具体包括:重建模块获取到深层特征,所述重建模块包括一个3×3卷积层和一个亚像素操作层,重建模块根据所述深层特征重建生成高分辨率图像,具体重建生成的算法如下:,

其中, 表示最终重建生成的高分辨率图像, 表示重建操作, 表示深层特征,表示双线性插值上采样操作, 表示原始低分辨率图像。

7.一种双路Transformer图像超分辨率系统,其特征在于,包括:采集模块,用于获取待处理的低分辨率图像并进行预处理,将预处理后的低分辨率图像输入双路Transformer网络;

浅层特征提取模块,用于浅层特征提取模块获取所述低分辨率图像的浅层特征,以输入到深层特征提取模块;

深层特征提取模块,用于深层特征提取模块根据所述浅层特征获取深层特征,所述深层特征提取模块包括双路特征融合子模块和全局特征融合子模块,将所述深层特征输入到重建模块;

所述深层特征提取模块根据所述浅层特征获取深层特征的步骤,具体包括:低分辨率图像进行预处理后,输入浅层特征提取模块,以提取所述低分辨率图像的浅层特征,所述浅层特征提取模块包括3×3卷积层,提取所述浅层特征的算法如下:,

其中, 表示浅层特征, 表示浅层特征提取操作, 表示低分辨率图像;

将所述浅层特征输入深层特征提取模块,所述深层特征提取模块根据浅层特征获取深层特征,所述深层特征提取模块包括双路特征融合子模块和全局特征融合子模块;

所述双路特征融合子模块进行双路特征提取并融合;

所述双路特征融合子模块具体包括:

双路特征融合子模块包括多个完全相同的双路特征融合单元,每个所述双路特征融合单元为双路分支结构,所述双路分支结构包括完全相同的两条支路,每条支路包括一个Transformer块,前一双路特征融合单元的Transformer块与后一双路特征融合单元的Transformer块通过残差结构连接,所述残差结构包括原始支路和残差支路,所述残差支路包括一个Concat块和一个1×1卷积块;

所述全局特征融合子模块根据融合后的所述双路特征获取深层特征;

所述全局特征融合子模块具体包括:

全局特征融合子模块根据双路特征融合子模块融合输出后的双路特征获取深层特征,所述全局特征融合子模块包括一个Concat块、一个1×1卷积块和一个3×3卷积块;

所述根据浅层特征获取深层特征的算法如下:

其中, 表示深层特征, 表示深层特征提取操作;

重建模块,用于重建模块根据所述深层特征重建生成高分辨率图像。

8.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1‑6任一项所述的双路Transformer图像超分辨率方法。

9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;

所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1‑6任一项所述的双路Transformer图像超分辨率方法。