利索能及
我要发布
收藏
专利号: 2018109749860
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种超分辨率图像重建方法,其特征在于,包括:获取多帧输入图像;

使用多个卷积核对所述多帧输入图像中的每帧输入图像进行卷积操作,得到与所述每帧输入图像对应的多帧帧内特征图;

将所述多帧帧内特征图分为多组,其中,每组帧内特征图包含每帧输入图像的帧内特征图;

对所述每组帧内特征图分别进行帧间特征融合,得到每组所述帧内特征图的联合特征图;

基于每组所述帧内特征图的联合特征图进行图像重建,得到所述多帧输入图像的目标图像。

2.根据权利要求1所述的方法,其特征在于,所述对所述每组帧内特征图分别进行帧间特征融合,得到所述每组帧内特征图的联合特征图,包括:通过卷积神经网络对所述每组帧内特征图进行卷积操作,得到所述每组帧内特征图的联合特征图。

3.根据权利要求1所述的方法,其特征在于,在所述基于每组所述帧内特征图的联合特征图进行图像重建,得到所述多帧输入图像对应的目标图像之前,还包括:对所述联合特征图进行多尺度特征编码,得到多尺度编码特征图;

基于所述多尺度编码特征图进行图像重建,得到所述多帧输入图像的目标图像。

4.根据权利要求3所述的方法,其特征在于,所述对所述联合特征图进行多尺度特征编码,得到多尺度编码特征图,包括:基于所述联合特征图进行正向操作,得到多个尺度的第一特征图;

基于所述多个尺度的第一特征图进行反向操作和叠加处理,得到第二特征图,其中,所述第二特征图的尺度与所述联合特征图的尺度相同;

将所述第二特征图确定为所述多尺度编码特征图。

5.根据权利要求4所述的方法,其特征在于,所述正向操作包括池化、下采样和卷积中的至少一种操作。

6.根据权利要求4所述的方法,其特征在于,所述反向操作包括反池化、上采样和反卷积中的至少一种操作。

7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述基于每组所述帧内特征图的联合特征图进行图像重建,得到所述多帧输入图像的目标图像,包括:根据多个待重建图像逐像素重建所述目标图像中的像素,其中,所述待重建图像包括所述联合特征图和多尺度编码特征图。

8.根据权利要求1至6中任意一项所述的方法,其特征在于,在得到所述多帧输入图像的目标图像之后,所述方法还包括:对所述目标图像进行图像质量提升处理,得到优化后的目标图像。

9.一种超分辨率图像重建装置,其特征在于,包括:获取模块,用于获取多帧输入图像;

特征提取模块,用于对所述多帧输入图像进行特征提取,得到所述多帧输入图像间的联合特征图;

第一图像重建模块,用于基于所述联合特征图进行图像重建,得到所述多帧输入图像的目标图像;

其中,所述特征提取模块包括帧内特征提取子模块和帧间特征融合子模块;

所述帧内特征提取子模块用于:

使用多个卷积核对所述多帧输入图像中的每帧输入图像进行卷积操作,得到与所述每帧输入图像对应的多帧帧内特征图;

所述帧间特征融合子模块包括:

分组单元,用于将所述多帧帧内特征图分为多组,其中,每组帧内特征图包含每帧输入图像的帧内特征图;

帧间特征融合单元,用于对所述每组帧内特征图分别进行帧间特征融合,得到所述每组帧内特征图的联合特征图。

10.根据权利要求9所述的装置,其特征在于,所述帧间特征融合单元用于:通过卷积神经网络对所述每组帧内特征图进行卷积操作,得到所述每组帧内特征图的联合特征图。

11.根据权利要求9所述的装置,其特征在于,所述装置还包括:多尺度特征编码模块,用于对所述联合特征图进行多尺度特征编码,得到多尺度编码特征图;

第二图像重建模块,用于基于所述多尺度编码特征图进行图像重建,得到所述多帧输入图像的目标图像。

12.根据权利要求11所述的装置,其特征在于,所述多尺度特征编码模块包括:正向操作子模块,用于基于所述联合特征图进行正向操作,得到多个尺度的第一特征图;

反向操作和叠加处理子模块,用于基于所述多个尺度的第一特征图进行反向操作和叠加处理,得到第二特征图,其中,所述第二特征图的尺度与所述联合特征图的尺度相同;

确定子模块,用于将所述第二特征图确定为所述多尺度编码特征图。

13.根据权利要求12所述的装置,其特征在于,所述正向操作包括池化、下采样和卷积中的至少一种操作。

14.根据权利要求12所述的装置,其特征在于,所述反向操作包括反池化、上采样和反卷积中的至少一种操作。

15.根据权利要求9至14中任意一项所述的装置,其特征在于,所述第一图像重建模块用于:根据多个待重建图像逐像素重建所述目标图像中的像素,其中,所述待重建图像包括所述联合特征图和多尺度编码特征图。

16.根据权利要求9至14中任意一项所述的装置,其特征在于,所述装置还包括:图像质量提升处理模块,用于对所述目标图像进行图像质量提升处理,得到优化后的目标图像。

17.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行权利要求1至8中任意一项所述的方法。

18.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。