利索能及
我要发布
收藏
专利号: 2024109566117
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-01-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种遥感图像精确分割方法,其特征在于,包括以下步骤:

步骤1,获取高分辨率遥感图像数据并进行预处理,采取像素重叠的策略,将高分辨率遥感图像切割为小图像块,并以随机抽取的方式划分为训练集、验证集和测试集;

步骤2,构建基于Poly衰减学习率策略的遥感图像分割模型交叉上下文频域表示学习模型CCRF‑UNet;

步骤3,配置相关训练参数;

步骤4,将训练集和验证集输入到模型CCRF‑UNet中进行训练和验证,利用联合损失函数计算遥感图像分割模型的损失,优化训练网络参数,得到训练完成的遥感图像分割模型;

步骤5:将测试集输入到训练完成的遥感图像分割模型中,输出相应的分割结果;

步骤2中,所述交叉上下文频域表示学习模型CCRF‑UNet基于对原始UNet模型的改进得到,包括如下步骤:步骤2‑1,建立交叉上下文频域表示学习模块CCRF,在原始UNet模型编解码阶段,在每一个阶段使用深度可分离卷积替换普通卷积,在第2、3、4、5阶段过程中,每个深度可分离卷积模块后都经过不同次数的交叉上下文频域表示学习模块CCRF,次数分别为[4,2,2,4];

步骤2‑2,在原始UNet模型的跳跃连接中,使用交叉注意力Cross‑Attention模块,执行如下计算得到注意力图A:其中Q、K、V分别表示查询矩阵、键矩阵和值矩阵,Conv2d(·)表示1×1卷积操作,C、H、WT分别表示特征图的通道数、高度和宽度,C′表示查询和键矩阵的通道数,K表示键矩阵的转置矩阵,softmax(·)表示应用软最大激活函数;X表示原始特征图,T表示矩阵转置;

表示实数集;

对值矩阵V和注意力图A进行聚合操作得到注意力特征U,通过线性变换将注意力特征映射回原始维度,然后将注意力特征与原始特征图X进行融合,公式为:U=V·A

X′=Conv2d(U)+X

其中X′为经过交叉注意力模块后的输出特征;

步骤2‑3,构建基于Poly衰减学习率策略的遥感图像分割模型交叉上下文频域表示学习模型CCRF‑UNet,使用Poly衰减学习率策略替换固定的学习率;使用Poly衰减学习率策略后,训练过程中学习率的变化根据多项式衰减函数确定,公式为:其中lr为新的学习率,base_lr为基准学习率,epoch为迭代次数,num_epoch为最大迭代次数,power为多项式衰减指数;

步骤2‑1包括:利用深度可分离卷积替换原始UNet模型中的普通卷积,并通过交叉上下文频域表示学习模块CCRF,在编码部分下采样的四个阶段分别经过[4,2,2,4]次,解码部分上采样的四个阶段分别经过[4,2,2,4]次:所述交叉上下文频域表示CCRF模块共有三个分支,第一个分支是带有膨胀卷积的上下文交互模块CIM,首先通过扩大卷积感受野获取小尺度物体的特征和结构信息,然后通过上下文交互模块CIM进一步增强信息交换;第二个分支是十字交叉频域权重学习模块CCWF,通过同时获取全局和局部信息,并引入频域特征帮助模型CCRF‑UNet理解上下文;第三个分支是原始特征拼接分支,通过引入原始输入特征,丰富特征信息。

2.根据权利要求1所述的方法,其特征在于,步骤1中,所述预处理包括:对高分辨率遥感图像采用像素重叠策略进行逐个裁剪,随后进行语义分割标签的制作,对图像中的目标进行标注;然后采用像素重叠策略逐个裁剪标注完的图像,均裁剪到统一大小,并以随机抽取的方式将裁剪完的小图像数据划分为训练集、验证集和测试集。

3.根据权利要求2所述的方法,其特征在于,步骤2‑1中,所述上下文交互模块CIM包括:对输入特征图使用软池化Soft‑Pool操作来获得特征图在垂直和水平方向上的统计数据,然后将垂直和水平方向上的统计数据相乘得到与上下文相关的输出特征图;Soft‑Pool操作以指数加权的方式激活池化内核中的像素,对于特定核邻域R中的每个像素,Soft‑Pool操作的计算方法如下式所示:其中,表示经过软池化操作后的特征,ai表示原始特征图中的第i个元素值,aj表示原始特征图中的第j个元素值,e是自然常数。

4.根据权利要求3所述的方法,其特征在于,所述十字交叉频域权重学习模块CCWF包括:将输入特征Xz沿着通道维度划分为四块,分别为x1、x2、x3和x4,对其中三块x1、x2、x3分别沿着通道到高度、通道到宽度、高度到宽度三个方向进行频域信息学习,将学习到的频域特征转换为空间域特征,并将高度到宽度方向上的特征信息分别与通道到高度和通道到宽度两个方向上的特征信息按照权重进行融合,获取全局特征信息,具体计算过程表示为:x1,x2,x3,x4=Spilt(Xz)

x1(C,H)=W(C,H)⊙F(C,H)[x1]

x2(C,W)=W(C,W)⊙F(C,W)[x1]

x3(H,W)=W(H,W)⊙F(H,W)[x1]

xF1=αx1(C,H)+(1‑α)x3(H,W)

xF2=βx2(C,W)+(1‑β)x3(H,W)

其中,在编码阶段输入特征z为经过深度可分离卷积后输入到十字交叉频域权重学习模块CCWF中的特征;在解码阶段输入特征Xz为经过上采样后输入到十字交叉频域权重学习模块CCWF中的特征;

Spilt(·)表示沿通道维度的拆分操作,W(C,H)表示通道到高度方向上的可学习权重,W(C,W)表示通道到宽度方向上的可学习权重,W(H,W)表示高度到宽度方向上的可学习权重,F(C,H)表示特征在通道到高度方向上的二维离散傅里叶变换,F(C,W)表示特征在通道到宽度方向上的二维离散傅里叶变换,F(H,W)表示特征在高度到宽度方向上的二维离散傅里叶变换,⊙表示元素乘积操作,x1(C,H),x2(C,W),x3(H,W)分别表示通道到高度,通道到宽度和高度到宽度方向上经过频域信息学习后的频域特征,x′1,x′2,x′3分别表示通道到高度,通道到宽度和高度到宽度方向上经过频域信息学习后转换到空间域的特征, 表示特征在通道到高度方向上的二维离散傅里叶逆变换, 表示特征在通道到宽度方向上的二维离散傅里叶逆变换, 表示特征在高度到宽度方向上的二维离散傅里叶逆变换,xF1和α分别表示通道到高度方向特征与高度到宽度方向特征经过特征融合后的输出特征和融合比例超参数,xF2和β分别表示通道到宽度方向特征与高度到宽度方向特征经过特征融合后的输出特征和融合比例超参数;

同时,对块x4进行深度可分离卷积操作,保留局部特征信息;最后将四块特征图沿着通道维度拼接,恢复与输入相同的大小,得到输出特征图,公式表示为:x′4=DW(x4)

Y=Concat(xF1,xF2,x′3,x′4)

其中,DW(·)表示深度可分离卷积操作,x′4表示经过深度可分离卷积后的特征,Concat(·)表示沿通道维度的拼接操作,Y表示经过拼接后的输出特征。

5.根据权利要求4所述的方法,其特征在于,步骤3包括:实验使用网络框架为Pytorch框架,根据设备性能设置单次输入训练数据数量batch_size,初始学习率设置为0.01,使用动量项为0.9、权重衰减为1e‑4的随机梯度下降SGD优化器,最大迭代次数为100。

6.根据权利要求5所述的方法,其特征在于,步骤4包括:将Dice损失函数LDice和Cross‑Entropy损失函数LCE组合作为联合损失函数L指导模型训练。

7.根据权利要求6所述的方法,其特征在于,步骤4中,采用如下公式计算联合损失函数L:L=LCE+LDice。

8.根据权利要求7所述的方法,其特征在于,步骤5包括:将测试集作为输入,输入到训练完成的遥感图像分割模型中去,得到相应的分割结果,计算出模型分割的F1系数和平均交并比,将F1系数、平均交并比和遥感图像分割效果图与其他模型进行对比。