利索能及
我要发布
收藏
专利号: 2023111057110
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,包括:获取原始图像,将原始图像输入到多尺度Transformer语义分割模型中,得到图像语义分割结果,其中多尺度Transformer语义分割模型包括Conv Stem层、多尺度特征增强提取模块、特征融合解码器以及语义分割模块;

多尺度Transformer语义分割模型对原始图像进行处理的过程包括:S1、将原始图像输入到Conv Stem层进行特征提取,得到特征图;

S2、将特征图输入到多尺度特征增强提取模块,得到不同尺度的特征图;

S3、将不同尺度的特征图输入特征融合解码器中,得到融合特征图;

S4、将融合特征图输入语义分割模块中,得到图像语义分割结果。

2.根据权利要求1所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,多尺度特征增强提取模块包括多个MSF‑PE模块和多个MST‑Transformer模块;MSF‑PE模块与MST‑Transformer模块相互连接,成对出现;MSF‑PE模块由多尺度特征切片嵌入层、不同尺度的卷积层以及多尺度特征融合模块组成;MST‑Transformer模块由多尺度向量Transformer编码模块、局部信息增强模块以及特征交汇模块构成;其中,MSF‑PE表示多尺度特征切片嵌入,MST‑Transformer表示多尺度向量Transformer。

3.根据权利要求1所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,多尺度特征增强提取模块对输入的特征图进行处理的过程包括:S21、将特征图输入第一MSF‑PE模块中,得到第一多尺度特征图;

S22、将第一多尺度特征图和特征图分别输入第一MST‑Transformer模块,得到第一编码特征图;

S23、将上一个MST‑Transformer模块输出的编码特征图输入到下一个MSF‑PE模块,得到当前MSF‑PE模块输出的多尺度特征图,将当前多尺度特征图和上一个MST‑Transformer模块输出的编码特征图分别输入到下一个MST‑Transformer模块,得到当前MST‑Transformer模块输出的编码特征图;

S24、重复步骤S23,直到经过所有的MSF‑PE模块和MST‑Transformer模块。

4.根据权利要求3所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,MSF‑PE模块对输入特征图进行处理的过程包括:S211、将特征图输入到多尺度特征切片嵌入层进行多尺度特征切片嵌入,采用不同尺度的卷积层对多尺度特征切片嵌入后的特征图进行卷积,得到切片嵌入特征图;

S212、把切片嵌入特征图输入多尺度特征融合模块进行信息聚合,得到多尺度特征图。

5.根据权利要求3所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,MST‑Transformer模块对编码特征图和多尺度特征图进行处理的过程包括:S221、将多尺度特征图输入多尺度向量Transformer编码模块进行多尺度自注意力计算,得到多尺度特征向量序列;

S222、将编码特征图输入局部信息增强模块进行局部信息增强,得到局部信息增强特征图;

S223、将多尺度特征向量序列与局部信息增强特征图一同输入特征交汇模块进行特征交互,得到编码特征图。

6.根据权利要求5所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,对多尺度特征图进行自注意力计算的过程包括:步骤1、对多尺度特征图进行线性变换,得到矩阵Q、K、V,

分别是线性变换的查询、键和值,其中 为向量空间,N为切片图像块的数量,Chid为特征图的通道数;

步骤2、采用多尺度向量联合自注意力重采样方法对注意力头进行多等划分,得到多个头,将K、V输入到每个头中;

步骤3、每个头采取各自不同的下采样率Bi,将K和V输入重采样模块进行降维,得到不同维度的K′和V′;

步骤4、将每个头中的K′和V′与Q进行自注意力计算,得到每个头的输出,自注意力计算公式为:其中Attention(Q,K′,V′)是自注意力计算的结果,dk是Q、K′矩阵的列数;

步骤5、将每个头的输出进行拼接,获得多尺度特征向量。

7.根据权利要求5所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,局部信息增强模块由多个堆叠卷积层组成,该模块对编码特征图进行处理的过程包括:步骤1、对输入的编码特征图进行小尺度卷积运算;

步骤2、对卷积后的特征图进行层归一化;

步骤3、将层归一化后的结果输入到GELU激活函数中,完成一个堆叠卷积层的局部特征提取操作;

步骤4、将上一个堆叠卷积层的结果输入到下一个堆叠卷积层;

步骤5、重复步骤4,直到经过所有的堆叠卷积层。

8.根据权利要求5所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,步骤S223对局部信息增强特征图和多尺度特征向量进行特征交汇的过程包括:步骤1、采用Seq2Img层对多尺度特征向量序列重构,得到多尺度重构特征图;

步骤2、对局部信息增强特征图进行最大值池化操作;

步骤3、将多尺度重构特征图与池化后的局部信息增强特征图进行拼接操作,得到拼接特征图;

步骤4、将拼接特征图输入1×1卷积层,得到编码特征图。

9.根据权利要求1所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,特征融合解码器对不同尺度的特征图进行融合的过程包括:S31、对不同尺度的特征图进行卷积,将卷积后的特征图的通道数转化为Co;

S32、对通道数转化后的特征图进行双线性插值上采样,得到分辨率恢复特征图,将不同的分辨率恢复特征图在通道维度上拼接,得到维度大小为H×W×4Co的拼接特征图;

S33、对拼接特征图进行卷积,将输出特征通道维度下降至Co,得到融合特征图;

其中H为高,W为宽,Co为特征图的通道数。

10.根据权利要求1所述的一种基于卷积局部增强的多尺度Transformer图像语义分割方法,其特征在于,语义分割模块对融合特征图进行处理的过程包括:对融合特征图进行特征交互和上色输出,得到语义类别划分的分割结果。