1.一种基于Transformer的煤岩图像超分辨率重建方法,其特征在于,包括如下步骤:
1)构建局部卷积块LCB模块,其中包含一个1×1卷积,一个DW深度可分离卷积,一个SE卷积,最后通过一个1×1卷积恢复通道数;
2)将LCB模块和全局置换自注意块GPSAB结合,其中,GPSAB包含一个置换自注意力PSA模块和FFN卷积;
3)构建迭代式上下采样层IUDL;
4)结合GPSAB、LCB和IUDL构建迭代上下采样块IUDB;原始图像特征LR经过浅层特征提取得到图像特征F0,所述图像特征F0经过GPSAB和LCB后再通过IUDL完成一次深层特征提取,即经过一块IUDB得到图像特征F1,所述图像特征F1与经过N块IUDB的结果FN进行卷积和操作得到深层特征提取结果FD;
所述步骤3)提取不同尺度上下文信息;该模块利用了DenseNet网络的连接方法,输入特征图和输出特征图的分辨率相同,通道数增加,之后在后面接上Image Reconstruction进行图像重建;包括以下具体过程:
3.1)密集连接;连接前面所有层作为输入:
其中,表示第l层密集连接的结果,D表示上采样或下采样操作;
3.2)低分辨率路径提取上下文信息;原始图像特征LR经过1个3×3卷积和一个1×1卷积得到图像超分辨率浅层图像特征,将浅层图像特征作为深层特征提取以及图像重建的输入F0,采用上采样操作得到图像的特征图 ,再下采样操作得到图像的特征图 ,根据所述特征图 上采样得到特征图 ,通过反向投影利用 , 下采样得到新的特征图 ,上述操作反复t次,获取到深层次的特征图信息 ,其中,是 到 密集连接下采样后的结果,通过 到 相加得到最终结果 ,最后利用ImageReconstruction操作生成HR高分辨率图像,上采样操作定义如下:其中, 是上采样空间卷积算子, 是具有缩放因子s的上采样算子, 是阶段t的上采样中的去卷积层, 是阶段t中对阶段t‑1中得到的特征图 进行上采样得到的特征图;
下采样操作定义如下:
其中, 是下采样空间卷积算子, 是具有缩放因子s的下采样算子,是阶段t的下采样中的去卷积层, 是阶段t中特征图 进行下采样得到的特征图;
所述反向投影中的投影单元将先前计算的LR的特征图 作为输入,并将其映射到中间HR图 ,然后将其映射回LR映射 ,观察到的LR映射 和重建的 之间的残差 再次映射到HR,产生新的中间残差映射 ,将所述中间HR图 和中间残差映射 进行求和,得到最终HR映射 ;
所述通过 到 相加得到最终结果 ,公式定义如下:
其中, 表示上采样后的特征图,表示上采样后的特征图,表示t个 的总和,↓表示下采样。
2.根据权利要求1所述基于Transformer的煤岩图像超分辨率重建方法,其特征在于,
1)包括以下具体过程:
1.1)图像特征F0在经过GPSAB后得到特征图F01,再通过一个1×1卷积;
1.2)对通过1×1卷积后的图像进行DW卷积;
1.3)进行完DW卷积的图像通过SEnet模型;
1.4)经过SEnet模型的图像通过一个1×1卷积生成输出图像;通过残差连接将图像特征和输出图像连接起来,得到IUDL模块的输入。
3.根据权利要求1所述基于Transformer的煤岩图像超分辨率重建方法,其特征在于,
2)包括以下具体过程:
2.1)空间自注意操作; 表示输入特征,其中 和 是输入的宽度和高度,是通道数,通过线性投影将 嵌入到查询、键值矩阵 、 、 中,计算查询和关键字的产生,得到大小为 的空间注意力图;进行空间注意以获得中间聚合结果,计算过程如下:其中 、 分别表示查询、键和值的线性投影矩阵;
2.2)旋转操作;旋转输入查询和关键矩阵,得到转置查询和关键阵 , ,还旋转值阵,得到值阵 ,用于后续的通道自注意,所获得的大小为 的按通道的注意力图对按通道的关系进行建模,计算过程如下:其中, 表示空间注意输出, 表示空间输出矩阵, 表示关键矩阵的转置, , ,是通道自注意的输入嵌入矩阵, 表示绕空间轴的旋转操作;
2.3)聚合操作;通过通道注意力输出 的反向旋转得到最终的聚合 ,计算过程如下:其中, 是绕空间轴旋转操作的逆旋转, 表示通道输出矩阵,在聚合操作中,集成空间矩阵运算和通道矩阵运算的元素结果,实现全轴交互。
4.一种基于Transformer的煤岩图像超分辨率重建装置,其特征在于,执行如权利要求
1‑3中任一项所述的基于Transformer的煤岩图像超分辨率重建方法,包括:
1)构建单元,用于构建局部卷积块LCB模块;
2)第一结合单元,用于将LCB模块和全局置换自注意块GPSAB结合;
3)优化单元,用于构建迭代式上下采样层IUDL;
4)第二结合单元,用于结合全局置换自注意块GPSAB、LCB模块和上下采样层IUDL构建迭代上下采样块IUDB。
5.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至3中任一项所述的基于Transformer的煤岩图像超分辨率重建方法。
6.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至3中任一项所述的基于Transformer的煤岩图像超分辨率重建方法。