利索能及
我要发布
收藏
专利号: 2020112929620
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-15
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统,包括:浅层特征提取模块、深度特征提取模块、上采样模块和重构模块,其特征在于,所述深层特征提取模块包括分频模块和交叉残差组;

浅层特征提取模块中包括一个卷积层,用于提取低分辨率输入图像的浅层特征;

深度特征提取模块中包括G个分频模块和G个交叉残差组,分频模块和交叉残差组交错级联,深度特征提取模块用于对浅层特征模块的输出的浅层特征进行深层特征提取,输出深层特征;

分频模块用于将图像特征分为高频信息和低频信息,所述分频模块包括卷积层和反卷积层,反卷积层用于上采样,将上采样的输出结果视为低频信息;卷积层用于下采样,将上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息;

所述交叉残差组包括B个残差通道-空间注意力模块,所述残差通道-空间注意力模块用于自适应的调整通道和空间维度上的像素特征;残差通道-空间注意力模块中包括通道注意力机制模块和空间注意力机制模块,通道注意力机制模块和空间注意力机制模块并联集成设置在残差块中,用于学习通道维度和空间维度上更具有丰富信息的特征,过滤掉冗余信息的特征;

上采样模块中包括亚像素卷积层,上采样模块用于对输入的深层特征进行上采样;

重构模块中包括亚像素卷积层,用于对经过上采样后的特征进行特征重构,输出高分辨率图像。

2.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统,其特征在于,深度特征提取模块中包括低频信息融合模块和高频信息融合模块,所述低频信息融合模块包括第一连接模块和第一卷积模块;所述高频信息融合模块包括第二连接模块和第二卷积模块;所述第一连接模块用于拼接图像特征的低频信息;所述第二连接模块用于拼接图像特征的高频信息;所述第一卷积模块与所述第一连接模块连接,所述第一卷积模块用于压缩拼接的低频特征图的通道数量,增强图像低频信息的特征;所述第二卷积模块与所述第二连接模块连接,所述第二连接模块用于压缩拼接的高频特征图的通道数量,增强图像高频信息的特征。

3.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统,其特征在于,所述分频模块采用一个n×n反卷积进行上采样,采用一个n×n的卷积进行下采样,上采样的输出结果UPg视为低频信息,被直接传到低频信息融合模块;上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息,作为第g个交叉残差组的输入进行深层学习。

4.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统,其特征在于,所述交叉残差组中还包括两个3×3的卷积层,所述卷积层用于对每一个残差通道-空间注意力模块的输出进行交叉连接,使得浅层特征被无损传输到深层模块中。

5.根据权利要求1所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建系统,其特征在于,去除残差块中的批量归一化层,用于减少参数。

6.一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法,其特征在于,包括以下步骤:S1、将低分辨率图像输入到浅层特征模块中进行浅层特征提取,得到图像的浅层特征;

在浅层特征模块中使用一个卷积层提取低分辨率图像的浅层特征,表达式如下:

F0=HFM(ILR)

其中,F0表示低分辨率图像的浅层特征,HFM代表浅层特征提取模块,也即是一个卷积层的卷积操作;ILR作为低分辨率的输入图像;

S2、将浅层特征F0输入到深度特征提取模块进行深度特征提取,得到图像的深层特征,深度特征提取表达式如下:FDF=HFDRL(F0)

其中,FDF表示图像的深层特征,HFDRL表示深层特征提取模块;

S3、将学习到的深层特征FDF输入上采样模块,上采样模块中进行亚像素卷积处理,得到经过上采样后的特征:FUP=HUP(FDF)

其中,HUP表示上采样模块的上采样操作,这里使用的上采样操作是亚像素卷积,FUP是经过上采样之后得到的特征;

S4、将经过上采样后的特征FUP输入到重构层,重构层利用亚像素卷积进行处理,生成最终的超分辨率图像:ISR=HR(FUP)=HCRCSAN(ILR)

其中,ISR表示最终重建的高分辨率图像,HR表示重建层的卷积操作函数,HCRCSAN表示本发明提出的交叉残差信道-空间注意力CRCSAN网络的处理函数;

S5、使用损失函数对CRCSAN网络进行优化,包括:先输入N个低分辨率图像,重建N个超分辨率图像之后,然后计算这N个输出的超分辨率图像块和真实的高分辨率图像块的绝对平均误差,并采用反向传播策略和随机梯度下降算法对CRCSAN网络的参数Θ进行优化,最终得到训练好的CRCSAN。

7.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法,其特征在于,使用的损失函数是平均绝对误差MAE,损失函数L(Θ)的表达式如下:其中,Θ表示本发明提出的网络的参数,ISR表示经过CRCSAN网络重建的超分辨率图像,IHR表示真实的高分辨率图像, 表示给定含有N个低分辨率和真实的高分辨率图像块的训练图像对。

8.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法,其特征在于,步骤S2中,深层特征提取模块由G个分频模块和G个交叉残差组组成,浅层特征经过G个分频模块和G个交叉残差组,最终得到深层特征,具体地,在深度特征提取模块中的处理过程包括:使用分频模块将浅层特征F0分为高频信息和低频信息,将低频信息传输到深度特征提取模块的低频信息融合模块中,将高频信息输入到交叉残差组中进行深层学习,得到深层特征。

9.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法,其特征在于,使用分频模块将浅层特征F0分为高频信息和低频信息,具体包括:分频模块采用一个n×n反卷积进行上采样,将上采样的输出结果UPg视为低频信息;采用一个n×n的卷积进行下采样,下采样的输出为DOWNg,上采样的输入Fg-1与下采样的输出DOWNg相减的结果FFSM,g视为高频信息,计算公式如下:UPg=H↑(Fg-1)

DOWNg=H↓(UPg)

FFSM,g=Fg-1-DOWNg

其中,H↑表示上采样的反卷积操作,H↓表示下采样卷积操作,FFSM,g表示第g个分频模块的输出,也是第g个交叉残差组的输入,Fg-1表示第g-1个交叉残差的输出,也是第g个分频模块的输入。

10.根据权利要求6所述的一种基于交叉残差信道-空间注意力CRCSAN网络的图像重建方法,其特征在于,将高频信息输入到交叉残差组中进行深层学习,得到深层特征,具体包括:使用残差通道-空间注意力模块自适应的调整通道和空间维度上的像素特征,过滤掉冗余信息的特征,得到通道维度和空间维度上更具有丰富信息的特征;再利用两个堆叠的卷积层将每一个残差通道-空间注意力块的输出进行交叉连接,并将交叉连接的结果作为下一个残差通道-空间注意力模块的输入,最终得到深层特征,表达式如下:其中,Xg,b表示残差分量, 表示第g个交叉残差组中第b个残差注意力块中第一个3×

3卷积的权重,δ(·)表示ReLU激活函数, 表示第g个交叉残差组中第b个残差注意力块中第二个3×3卷积的权重;Fg,b-1表示第g个交叉残差组中第b-1个使用交叉连接的残差注意力块输出,Fg.,b-2表示第g个交叉残差组中第b-2个使用交叉连接的残差注意力块输出;Fg,0表示深层特征提取模块中第一个3×3卷积层的输出,该卷积操作层进一步提取低分辨率特征。