1.基于轻量神经网络和Transformer的单图像超分辨率重建方法,其特征在于,包括以下步骤:HR LR
步骤1:将原始的高分辨率图像X 通过双三次插值法下采样得到低分辨率图像X ;
LR
步骤2:使用三层卷积神经网络,提取低分辨率图像X 的低频特征图X;
步骤3:对步骤2得到的低分辨率图像特征图X,送入主体网络中,得到高频特征图;其中,主体网络由N个轻量Transformer模块级联而成,每个轻量Transformer模块由第一分块模块、第一线性变换模块、展平模块、Transformer模块、第二线性变换模块和深度可分离卷积神经网络级联而成;
步骤4:将步骤2提取的低频特征图与步骤3得到的高频特征图融合,得到重建的高分辨率图像;
步骤3中轻量Transformer模块的处理流程如下:第一分块模块将接收到的特征图分割成N个相同大小的图像块,每个图像块经过线性变换后展平为一维序列,N个一维序列经过Transformer模块后输出N个图像块的特征图,N个图像块的特征图经过线性变换后进行重组形成完整的特征图,重组形成的完整特征图经过深度可分离卷积神经网络,生成高频特征图;
步骤3中的深度可分离卷积神经网络包括逐点卷积层和深度卷积层,其中,逐点卷积层和深度卷积层之后均设有批规范化层和ReLU激活函数。
2.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法,其特征在于,步骤2低频特征提取中使用了三层标准卷积神经网络提取图像的低频特征,具体包括以下步骤:LR
步骤2.1:使用三层卷积神经网络对低分辨率图像X 进行特征提取,得到特征图其中,3表示R,G,B三个通道,H×W表示特征图的大小;
步骤2.2:将特征图X均匀分割为N个图像块,第i个图像块 其中,h=H/N,w=W/N。
3.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法,其特征在于,步骤3中Transformer模块中的编码器和解码器具体如下:编码器包括第一自注意力层和第一前馈神经网络MLP,在第一自注意力层与第一MLP之后均设有一个残差模块和归一化操作模块;
解码器包括第二自注意力层和第二前馈神经网络,在第二自注意力层和第二前馈神经网络中间还设有一层编码器‑解码器注意力层。
4.根据权利要求1所述的基于轻量神经网络和Transformer的单图像超分辨率重建方法,其特征在于,步骤4中使用跳跃连接将步骤2提取的低频特征图与步骤3得到的高频特征图融合,经由一个卷积层得到重建的高分辨率图像。