利索能及
我要发布
收藏
专利号: 2023109695151
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,包括如下步骤:S1:制作树林和湖泊数据集;

S2:构建语义分割网络模型;

S3:利用步骤S1得到的数据集,在步骤S2建立的语义分割网络模型中进行网络模型的训练;

S4:对于待分割的图像,使用训练好的网络模型进行预测并生成标签图像;

步骤S2中语义分割网络模型包括编码器部分和解码器部分,编码器部分中包括一个双分支特征提取结构、上下文特征细化CFR模块、若干瓶颈模块BB;

双分支特征提取结构包括改进后的ResNet34主干块和多分支残差加权模块,采用逐层下采样的方式,分别提取通道信息和空间信息,并将相同级别的ResNet34主干块输出和多分支残差加权模块MBRW的输出融合在一起;

上下文特征细化模块用于提取上下文信息,并将特征图一分为二,作为解码器两个分支的输入;

瓶颈模块BB和融合操作用于特征强化和融合不同特征层信息;

解码器部分包括高低特征融合模块HLFF和残差模块,解码器部分利用高低特征融合模块HLFF,将各级特征充分融合,逐层恢复特征图原始尺寸,最后在输出端采用一个残差模块进行通道阶梯细化;

所述多分支残差加权模块的设计和运行方法如下:

A1:模块整体采用多分支结构,每条支路都以瓶颈结构的形式提取图像特征;在每条支路中,先用1×1卷积将通道数压缩为原来的1/2,然后使用多个3×3卷积来获取不同感受野的特征信息,最后再用1×1卷积调整通道;并且前一个分支最后一个3×3卷积的输出是下一个分支的输入,同时,在每个分支最后一个3×3卷积后嵌入金字塔切分注意力机制;

A2:将所有分支的输出相加后,通过1×1卷积调整通道,再和输入图像进行残差连接,最后再乘以一个全局上下文向量,该向量是由第一个分支的输出执行全局平均池化后通过Sigmoid激活得来的;

所述上下文特征细化模块的设计和运行方法如下:

B1:首先用1×1的卷积调整通道,左半部分使用不同尺度的卷积获取丰富的上下文信息,接着利用条状池化对特征图中的边缘信息进行细化提取,帮助网络学习到更加精细的边界特征信息,最后将结果拼接输出;

B2:模型右半部分将输入特征图分别进行全局平均池化和全局最大池化,得到每个通道的平均值和最大值,之后先使用一个带有Relu非线性变换的1×1卷积降维,再使用一个带有Sigmoid激活函数的1×1卷积进行升维,得到每个通道的权重,最后将两个权重合并输出。

2.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述步骤S1中数据集的制作过程为:从LandCover数据集中挑选出有关树林和湖泊的图片,并将其整合成一个新的数据集,将原始图片统一裁剪,裁剪方式为滑动无盖切割,之后将所有图片划分为训练集和验证集,其中树林的标签为绿色,湖泊的标签为灰色,背景的标签为黑色。

3.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述语义分割网络模型中采用改进后的ResNet34网络,改进后的ResNet34网络包括5层主干块,最后一层主干块的下采样被去掉,改进后的ResNet34网络整体采用16倍下采样,通道数和原始的ResNet34网络相同。

4.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述语义分割网络模型中瓶颈模块包括瓶颈模块a和瓶颈模块b,分别用于MBRW分支的下采样和各层级的特征强化,瓶颈模块由两个1×1卷积和3×3卷积构成,其中1×1卷积用于调整通道数,3×3卷积用于强化特征提取,当其中的3×3卷积步长为2时,还起到了下采样的作用。

5.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述多分支残差加权模块中每条分支的数学表达式如下:X=Conv1d(x)

Yn=Kn*(Kn‑1*(...K2*(K1*X)))n=1,2,3

Mn=Conv1d(Psa(Yn))n=1,2,3

其中,x表示输入张量,X表示第一次卷积输出的结果;Kn表示第n次3×3卷积;Yn表示第n条分支中最后一个3×3卷积的输出;Mn表示所有分支融合后的输出结果;Psa表示使用金字塔切分注意力机制,Conv1d表示一维卷积操作;

多分支残差加权模块的输出计算公式如下:

P=Conv1d(concat(Y1,Y2,Y3))

W=Sigmoid(GAP(Y1))

outputMBRW=(X+P)×W

其中,Conv1d表示一维卷积操作;concat表示将多个张量经行通道维度上的连接;W表示权重向量;Sigmoid表示非线性激活函数Sigmoid;GAP表示全局平均池化操作;outputMBRW表示MBRW的输出。

6.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述上下文特征细化模块中左半部分的计算公式如下:A=Conv1d(x)

Bi=Bi1+Bi2

C=Conv1d(concat(B1,B2))

其中,Conv1d表示一维卷积操作;A表示模块第一次1×1卷积的输出;Conv表示不同尺度的卷积;ki表示卷积核或池化核大小;Avg表示不同尺寸的条状池化;Bij表示第i个卷积后第j个条状池化的输出;concat表示拼接操作;C表示模块左半部分的输出;

上下文特征细化模块的最终输出结果计算过程如下:

V1=Sigmoid(Conv1d(σ(Conv1d(GAP(A)))))V2=Sigmoid(Conv1d(σ(Conv1d(MAX(A)))))outputCFR=C×(V1+V2)

其中,A表示模块第一次1×1卷积的输出;σ表示非线性激活函数Relu,GAP表示全局平均池化,MAX表示全局最大池化;V1表示全局平均池化所得权重;V2表示全局最大池化所得权重;outputCFR表示CFR模块的输出。

7.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述高低特征融合模块共有三个输入,其中两个为相同级别的低级语义特征,分别来自ResNet34主干块和MBRW的输出,另一个为相邻层级的高级语义特征,包括前一级CFR模块的输出或者前一级HLFF模块的输出,高低特征融合模块的运行方法如下:C1:在高低特征融合模块中,对每个输入的特征层都采用双支路模式;对于两个低级语义信息,将其充分融合;对MBRW模块输出的低级特征,在第一个支路通过3×3卷积层对其中的语义信息进行细化;第二个支路中的1×3和3×1的条状卷积能更换好的捕获特征图中的水平和垂直特征;对ResNet34主干块输出的低级特征,第一个支路引入3×3的膨胀卷积,对特征层进行特征细化的同时又增加了感受野面积,将其与MBRW的第一个支路相加以实现多尺度融合;ResNet34第二个支路利用通道注意力机制获得一个权重后,与MBRW第二个支路的输出结果相乘,使得关键特征获得更高的权重,提高模型的准确性;最后将两个结果相加,经过1×1卷积调整通道后得到融合后的低级语义信息;

C2:对于高级语义信息,其第一个支路利用通道注意力加权后乘以融合后的低级语义信息,以忽略掉低级语义信息中的噪声和不必要细节;在第二个支路中,高级语义信息上采样到与低级语义信息相同大小,并用1×1的卷积调整通道数,3×3的卷积进一步提取特征,最后与第一个支路的输出相加得到了模块最终结果。

8.根据权利要求1所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述步骤S3中网络模型的训练依次包括正向传播,反向传播和梯度下降三个部分,训练过程如下:D1:正向传播:将输入的图片数据传输到模型中得到一个输出结果;

D2:反向传播:将得到的模型的输出结果与真实值通过损失函数来反向求取每个神经元的参数偏导;

D3:梯度下降:在反向传播过程中求得每个神经元的偏导后,最后通过梯度下降过程更新模型权重,沿着当前位置的最大方向的导数的反向进行下降,下降步长则由学习率来决定。

9.根据权利要求8所述的一种基于遥感图像的铁路沿线树林和湖泊分割方法,其特征在于,所述步骤D2中损失函数选择交叉熵损失函数,计算公式如下:其中是x网络的输出张量,class是真实标签。