利索能及
我要发布
收藏
专利号: 2021108848428
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种提高图像分辨率的方法,其特征在于,所述方法包括以下步骤:步骤1,获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息;

步骤2,将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB,Enhance Information Multi‑Distillation Network Block)操作得到中层特征信息;

步骤3,将所述中层特征信息进行信息多重蒸馏模块(IMDB,Information Multi‑Distillation Block)操作得到深层特征信息;

步骤4,根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息;

步骤5,根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息;

其中,在步骤1中,所述获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息的步骤,包括:将获取的低分辨率图像的特征信息采用3×3卷积和1×1卷积操作输出浅层特征信息,所述操作公式如下:FL=conv1×1(ReLU((conv3×3(ReLU(ILR)))));

其中,FL表示浅层特征信息,conv1×1和conv3×3分别表示卷积核大小为1×1和3×3的卷积操作,ILR表示输入的低分辨率图像的特征信息,ReLU()是激活函数;

在步骤2中,所述将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)操作得到中层特征信息的步骤,包括:将所述浅层特征信息、反馈特征信息采用N个EIMDB模块来进行中层特征信息的提取,所述操作公式如下:i

其中,FM表示中层特征信息,FEIMDB表示中层特征提取里第i个EIMDB模块的输出信息,1

在步骤3中,所述将所述中层特征信息进行信息多重蒸馏模块(IMDB)操作得到深层特征信息的步骤,包括:将所述中层特征信息采用M个IMDB模块进行深层特征信息的提取,所述操作公式如下:j

其中,FH表示深层特征信息,FIMDB表示深层特征提取里第j个IMDB模块的输出,1

在步骤4中,所述根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息的步骤,包括:将所述浅层特征信息、中层特征信息和所述深层特征信息经过级联操作和两次1×1卷积得到反馈特征信息,所述操作公式如下:FFB=conv1×1(concat(conv1×1(ReLU((concat(FM,FH))),FL));

其中,FFB表示反馈特征信息,FL表示浅层特征信息,FM表示中层特征信息,FM表示中层特征信息。

2.根据权利要求1中所述的提高图像分辨率的方法,其特征在于,所述信息多重蒸馏模块(IMDB)操作的步骤,包括:将接收到的第一初始图像特征信息依次进行四次3×3卷积操作得到对应的第一分处理目标特征信息;

将各第一分处理目标特征信息进行级联操作得到处理后的第一目标特征信息;

将所述处理后的第一目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积,并与接收到的第一初始图像特征信息进行相加得到一次信息多重蒸馏模块(IMDB)操作后的输出图像特征信息。

3.根据权利要求1或2所述的提高图像分辨率的方法,其特征在于,所述增强信息多重蒸馏模块(EIMDB)操作的步骤,包括:将接收到的第二初始图像特征信息依次进行四次残影模块(Ghost Module)操作得到第二分处理目标特征信息;

将各第二分处理目标特征信息进行级联操作得到处理后的第二目标特征信息;

将所述处理后的第二目标特征信息进行坐标注意力(CA,Coordinate Attention)机制处理和1×1卷积操作,并与接收到的第二初始图像特征信息进行相加得到一次增强信息多重蒸馏模块(EIMDB)操作后的输出图像特征信息。

4.根据权利要求3中所述的提高图像分辨率的方法,其特征在于,所述残影模块(Ghost Module)操作的步骤,包括:将接收的第三初始图像特征信息进行1×1卷积操作得到卷积后的初始特征信息;

将所述初始特征信息进行3×3分组卷积操作得到分组特征信息;

将所述初始特征信息和分组特征信息进行级联操作得到一次残影模块(Ghost Module)操作后的输出图像特征信息。

5.根据权利要求1所述的提高图像分辨率的方法,其特征在于,所述根据所述中层特征信息、深层特征信息和所低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息的步骤,包括:将所述深层特征信息和中层特征信息通过级联操作和1×1卷积得到初始重建特征信息并将所述初始重建特征信息与浅层特征提取进行相加操作、3×3卷积和一个亚像素卷积操作得到低分辨率图像重建后的超分辨率图片信息;

所述操作公式如下:

FR=fsub(conv3×3(conv1×1(ReLU((concat(FM,FH))))+ILR)));

ISR=FR;

其中ISR表示超分辨率图片信息,FR表示图像重建特征信息,fsub表示亚像素卷积操作。

6.一种提高图像分辨率的系统,其特征在于,包括:

浅层特征提取模块,用于获取低分辨率图像的特征信息并进行卷积操作得到浅层特征信息,即将获取的低分辨率图像的特征信息采用3×3卷积和1×1卷积操作输出浅层特征信息,所述操作公式如下:FL=conv1×1(ReLU((conv3×3(ReLU(ILR)))));

其中,FL表示浅层特征信息,conv1×1和conv3×3分别表示卷积核大小为1×1和3×3的卷积操作,ILR表示输入的低分辨率图像的特征信息,ReLU()是激活函数;

中层特征提取模块,用于将所述浅层特征信息和反馈特征信息进行增强信息多重蒸馏模块(EIMDB)操作得到中层特征信息,即将所述浅层特征信息、反馈特征信息采用N个EIMDB模块来进行中层特征信息的提取,所述操作公式如下:i

其中,FM表示中层特征信息,FEIMDB表示中层特征提取里第i个EIMDB模块的输出信息,1

深层特征提取模块,用于将所述中层特征信息进行信息多重蒸馏模块(IMDB)操作得到深层特征信息,即将所述中层特征信息采用M个IMDB模块进行深层特征信息的提取,所述操作公式如下:j

其中,FH表示深层特征信息,FIMDB表示深层特征提取里第j个IMDB模块的输出,1

反馈机制模块,用于根据所述浅层特征信息、中层特征信息和所述深层特征信息得到所述反馈特征信息,即将所述浅层特征信息、中层特征信息和所述深层特征信息经过级联操作和两次1×1卷积得到反馈特征信息,所述操作公式如下:FFB=conv1×1(concat(conv1×1(ReLU((concat(FM,FH))),FL));

其中,FFB表示反馈特征信息,FL表示浅层特征信息,FM表示中层特征信息,FM表示中层特征信息;

重建模块,用于根据所述中层特征信息、深层特征信息和所述低分辨率图像的特征信息得到低分辨率图像重建后的超分辨率图片信息。

7.一种提高图像分辨率的装置,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的提高图像分辨率的程序,所述提高图像分辨率的程序被所述处理器执行时实现如权利要求1至5中任一项所述的提高图像分辨率的方法的步骤。

8.一种存储介质,其特征在于,所述存储介质上存储有提高图像分辨率的程序,所述提高图像分辨率的程序被处理器执行时实现如权利要求1至5中任一项所述的提高图像分辨率的方法的步骤。