利索能及
我要发布
收藏
专利号: 2023112137004
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述系统包括输入模块、浅层特征提取层、深层特征提取模块、层间融合注意力机制模块、上采样及重建模块、输出模块;

所述输入模块接收低分辨率图像;

所述浅层特征提取层采用3×3卷积层对低分辨率图像进行浅层特征提取;

所述深层特征提取模块由N个信息蒸馏块IDB堆叠组成,浅层特征输入到深层特征提取模块,每个信息蒸馏块的输出特征输入到下一个信息蒸馏块,同时信息蒸馏块的输出特征输入到层间融合注意力机制模块中;

每个信息蒸馏块由渐进式细化模块、增强型自校准卷积和坐标注意力三部分组成,具体为:首先采用3×3卷积层提取输入特征用于后续的蒸馏步骤,每次蒸馏都采用通道分割操作,产生两部分特征,其中一部分作为保留特征输入到1×1卷积层,另一部分特征作为细化特征输入增强型自校准卷积层来提取更深层次的图像特征;重复上述操作,将增强型自校准卷积层的输出结果再次分割为保留特征和细化特征,共经过三次分割操作后,使用3×3卷积层增强增强型自校准卷积层的最终输出特征并使用通道维度拼接Concat操作与三个保留特征进行拼接融合;在拼接操作后嵌入坐标注意力,在信息蒸馏块IDB的末端使用1×1卷积进行降维处理,并引入跳跃连接;

所述层间融合注意力机制模块由M个层间金字塔注意力以金字塔结构组成,层间融合注意力机制模块的最下一层的每个层间金字塔注意力接收两个信息蒸馏块的输出特征进行层间融合,两个融合结果在输入到上层的层间金字塔注意力进行层间融合;所述层间融合注意力机制模块进行特征融合来提高特征利用率和信息流动,并通过1×1卷积层来降低维度以减少计算量和参数量,然后,输入到3×3卷积层,并引入长跳跃连接,经3×3卷积层的输出特征与浅层特征相加作为上采样及重建模块的输入;

所述上采样及重建模块由一个3×3卷积层和一个亚像素卷积层组成,对输入特征进行图像重建,得到高分辨率图像;

所述输出模块输出高分辨率图像。

2.根据权利要求1所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述深层特征提取模块由4个信息蒸馏块IDB堆叠组成,所述层间融合注意力机制模块由3个层间金字塔注意力以金字塔结构组成;浅层特征输入到深层特征提取模块,每个信息蒸馏块的输出特征输入到下一个信息蒸馏块,同时前两个信息蒸馏块的输出和后两个信息蒸馏块的输出分别输入到下层的两个层间金字塔注意力进行层间融合,两个融合结果再输入到上层的层间金字塔注意力进行层间融合。

3.根据权利要求1所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述增强型自校准卷积有四组卷积核其原理为:将输入图像x被平均地分割为两部分{x1,x2}即通道数都为x的一半,其中x1被送入上分支,x2被送入下分支;使用{k2,k3,k4}三个卷积核对x1进行自校准操作,从而获得上分支的输出Y1;首先使用尺寸为r×r的滤波器以步长为r对x1进行池化操作并使用卷积核组k2进行特征变换:x’1=UP(f2(AvgPoolr(x1)))=UP(AvgPoolr(x1)*k2)其中,UP表示线性插值操作;进一步,自校准操作表示为:

Y’1=f3(x1)·σ(x1+x’1)=(x1*k3)·σ(x1+x’1)其中,σ(·)代表sigmoid激活函数,同时为进一步增强校准能力,引入跳跃连接,则上分支的输出为:Y1=f4(Y1’+(x1+x’1))=(Y1’+(x1+x’1))*k4下分支使用简单的卷积操作f1(x2)=x2*k1来保留原始的空间信息,从而获得下分支输出Y2;最后将两分支的输出沿通道维度拼接Concat操作拼接到一起并通过通道混洗将原通道顺序打乱来加强上下分支融合,得到最终的输出Y:Y=fshuffle[Y1,Y2]

其中,fshuffle代表通道混洗操作,[Y1,Y2]表示对上下分支的输出结果进行拼接融合操作。

4.根据权利要求1所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述坐标注意力包括位置信息的嵌入和位置信息的生成两个步骤;

首先,坐标注意力将全局池化分解为水平方向和垂直方向上的两个池化操作,对于一C×H×W个通道数为C,宽和高分别为H,W的输入X ,用尺寸(H,1)和(1,W)的池化核沿着两方向进行编码,则在高度h处的第c个通道的输出为:其中,i代表宽;

在宽度w处第c个通道的输出为:

其中,j代表高;

坐标信息嵌入过程获得了输入特征的全局感受野和精确的位置信息,利用该位置信息生成坐标注意力图,将水平和垂直方向池化后的结果拼接到一起,并送入一个1×1卷积层:h w

f=δ(BN(f1×1([z ,z])))

h w

其中,[z ,z]代表拼接操作,f1×1代表1×1卷积,BN代表批量归一化层用于提高模型的稳定性,δ(·)代表非线性激活函数,假定输入为x,其公式如下:δ(x)=Relu6(x+3)/6

h

经过激活函数获得非线性数据后,将输出结果f沿空间维度分割为两个独立的张量f 和wf,再分别经过1×1卷积,利用sigmoid激活函数获得注意力权重:h h

g=σ(f1×1(f))

w w

g=σ(f1×1(f))

其中,f1×1代表1×1卷积,σ(·)表示sigmoid激活函数;

最后,将原输入与水平和垂直权重相乘,获得坐标注意力机制的最终输出,则第c通道上的输出可表示为:

5.根据权利要求2所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述层间融合注意力机制具体为:假定4个IDB块的输出分别为F1,F2,F3,F4,F1与F2进行层间融合得到结果Fout1,F3与F4进行层间融合得到结果Fout2,最后将Fout1与Fout2进行层间特征融合得到最终的输出结果Fout。

6.根据权利要求5所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,F1与F2进行层间融合得到结果Fout1具体为:F1与F2的维度皆为Batchsize×C×H×W,Batchsize代表每次读取的图像数量,C代表特征通道数,H,W分别代表图像高度与宽度;

首先沿通道维度将F1与F2拼接到一起,并使用1×1卷积和池化操作来降低计算量和参数量,公式如下:favg=AvgPoolr(f1×1([F1,F2]))其中,[F1,F2]代表拼接操作,AvgPoolr表示步长为r的池化操作,f1×1表示1×1卷积;

然后,引入分组维度,将池化后的结果favg重整成维度为Batchsize×2×C的矩阵并与相应的转置矩阵相乘来计算不同特征之间的相关性:其中,δ(·)和 分别表示soft max激活函数和维度重整;

将维度重整后的favg乘以具有比例因子α的预测矩阵,使用softmax激活函数生成上下两分支的注意力权重:其中,split(·)代表张量分割操作,δ(·)表示soft max激活函数;

最后将上下分支原输入F1,F2与得到的注意力权重相乘后相加即可得到输出结果:

7.根据权利要求1所述的基于整体注意力的矿井图像超分辨率重建系统,其特征在于,所述上采样及重建模块具体为:先使用一个3×3卷积对假定尺寸为H×W×C的输入特征图进行卷积操作,进一步提取

2 2

特征,再使用深度为rC的卷积得到尺寸为H×W×rC的特征图,然后对其进行重新编排实现图像尺寸的放大,输出特征的尺寸为rH×rW×C。

8.利用权利要求1‑7任一项所述的系统进行基于整体注意力的矿井图像超分辨率重建方法,其特征在于,所述方法步骤如下:步骤1,输入模块接收低分辨率图像;

步骤2,使用一个3×3卷积组成的浅层特征提取模块对低分辨率图像LR的特征进行初步提取;

步骤3,将浅层特征输入到N个信息蒸馏块组成的深层特征提取模块中,浅层特征输入到深层特征提取模块,每个信息蒸馏块的输出特征输入到下一个信息蒸馏块,同时信息蒸馏块的输出特征输入到层间融合注意力机制模块中;

步骤4,层间融合注意力机制模块的最下一层的每个层间金字塔注意力接收两个信息蒸馏块的输出特征;所述层间融合注意力机制模块进行特征融合来提高特征利用率和信息流动,并通过1×1卷积层来降低维度以减少计算量和参数量,然后,输入到3×3卷积层,并引入长跳跃连接,经3×3卷积层的输出特征与浅层特征相加作为上采样及重建模块的输入;

步骤5,最后上采样及重建部分采用3×3卷积层捕获图像中的各种细节信息,亚像素卷积通过重新排列通道和插值来放大图像尺寸,将模糊的低分辨图像转换为清晰的高分辨图像;

步骤6,输出模块输出重建后的高分辨率图像。