利索能及
我要发布
收藏
专利号: 2023109924324
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,包括以下步骤:步骤1:数据准备,利用LandCove.ai原始高分辨率遥感图像,对其进行预处理后得到水体分割数据集,数据集包括训练集、测试集和验证集;

步骤2:搭建网络,对原始HRNet网络进行结构化剪枝,得到Water‑Lite‑HRNet网络,同时嵌入注意力模块和相邻分支注意力模块;所述Water‑Lite‑HRNet网络由分支1、分支2、分支3和分支4四个分支堆叠而成,所述注意力模块嵌入四个分支中且四个分支仅与相邻不同分辨率分支融合特征,并在高低级特征跨分支融合前引入相邻分支注意力模块,进行相邻分支特征的提取;

S2.1:对HRNet网络进行结构化剪枝;HRNet网络分为五个阶段,起始模块、第一阶段、第二阶段、第三阶段和第四阶段;起始模块负对输入图像进行初步处理和特征提取,其余阶段用于特征的进一步提取、信息传递和预测最终的分割结果;产生低分辨率分支的功能在第一阶段、第二阶段和第三阶段开头,多尺度融合功能在第一阶段、第二阶段、第三阶段和第四阶段之间,网络的输出部分在第四阶段结尾;

S2.2:起始模块;对应网络的原始分辨率作为分支1,通过卷积操作,将输入图像卷积,使用Basicblock或者Bottleblock进行处理,起到提取特征的作用,在最后一个卷积层上使用注意力模块,将结果输入第一阶段;

S2.3:第一阶段;对上一阶段的分支1下采样产生低分辨率的分支2,每个分支分别利用Basicblock或者Bottleblock进行特征提取,在最后一个卷积层上使用注意力模块,将结果输入第二阶段;

S2.4:第二阶段,对上一阶段的分支2下采样产生低分辨率的分支3,分支1仅与相邻分支2特征融合,分支2仅与相邻分支1特征融合,分支3仅与相邻分支2特征融合,剪掉跨分支特征融合的功能;每个分支分别利用Basicblock或者Bottleblock进行特征提取,在最后一个卷积层上使用注意力模块,将结果输入第三阶段;

S2.5:第三阶段;对上一阶段的分支3下采样产生低分辨率的分支4,当前阶段的分支1仅与相邻分支2特征融合,分支2与相邻分支1和3特征融合,分支3与相邻分支2特征融合,分支4仅与相邻分支3融合,剪掉跨分支特征融合的功能;每个分支分别利用Basicblock或者Bottleblock进行特征提取,在最后一个卷积层上使用注意力模块,将结果输入第四阶段;

S2.6:第四阶段;分支1仅与相邻分支2特征融合,分支2仅与相邻分支1和3特征融合,分支3仅与相邻分支2和4特征融合,分支4仅与相邻分支3特征融合,剪掉跨分支特征融合的功能;特征融合以后,将结果输入相邻分支注意力模块;

S2.7:对于第四阶段结尾,也即相邻分支注意力模块的结果,需要保留跨分支特征融合的功能,将三个并行低分辨率的输出上采样到分支1的尺寸大小,拼接四个分支的结果,再通过1×1的卷积得到最终的分割结果;

步骤3:训练模型,对Water‑Lite‑HRNet网络分别采用公开数据集和步骤1中水体分割数据集的训练集及验证集对网络模型进行微调与训练,得到分割模型Y;

步骤4:分割及后处理,将步骤1中水体分割数据集的测试集输入到分割模型Y中,得到初始水体分割结果,然后对其进行后处理,得到最终的水体分割结果。

2.根据权利要求1所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述步骤1中,LandCove.ai原始数据集被标注为四个类别,包括建筑物、林地、水和道路,对原始图像预处理采用滑动窗口重叠裁剪方法。

3.根据权利要求1所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述注意力模块包括通道注意力分支和空间注意力分支,具体实现过程为:通道注意力分支通过两个单独的1×1卷积将维数为H×W×C的输入特征图F转换为特H×W×C H×W×C征表示F1∈R 和Q1∈R ;其中F1是特征响应图,Q1是空间权重图,H表示高度,W表示宽C×N N×1度,C表示通道数;特征表示F1和Q1分别被变形为特征矩阵V1∈R 和特征向量SW1∈R ,其N×1 C×1中N=H×W;在SW1后添加一个全连接层SW2∈R ,V1和SW2相乘得到C1∈R ,在C1后面添加一C×1个全连接层CA∈R 作为输出通道注意力向量;使用Sigmoid函数对CA进行归一化,最后将CAH×W×C和输入特征图相乘得到FC∈R ;

H×W×C

空间注意力分支通过两个单独的1×1卷积将输入特征图F转换为特征表示F2∈R 和H×W×C C×NQ2∈R ;F2是特征响应图,然后将F2变形为特征矩阵V2∈R ,其中N=H×W,Q2通过全局C×1平均池化,将每个通道压缩为单个元素,从而得到特征向量CW1∈R ;在CW1后添加一个全连C×1 1×N接层CW2∈R ,使用Softmax函数对CW2进行运算再和V2相乘得到S1∈R ,在S1后面添加一个

1×N H×W×1

全连接层S2∈R 作为输出空间注意力向量,再将S2变形为SA∈R ;并使用Sigmoid函数H×W×C对SA进行归一化,最后将SA和输入特征图相乘得到FS∈R ;

然后对FC和FS使用拼接和1×1卷积操作,得到注意力模块的输出特征图。

4.根据权利要求1所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述相邻分支注意力模块包括上采样二输入模块、下采样二输入模块和上下采样三输入模块,上采样二输入模块输入为所述分支2和所述分支3的特征图;下采样二输入模块输入为所述分支3和所述分支4的特征图;上下采样三输入模块输入为所述分支2、所述分支3和所述分支4的特征图,所述上采样二输入模块、下采样二输入模块和上下采样三输入模块的输出分别为B2、B3和B4;B2、B3和B4经过逐级上采样恢复到所述分支1的大小,将低分辨率的分支向高分辨率的分支进行信息传递,将四者拼接起来再使用一次1×1卷积,作为模型的最终输出。

5.根据权利要求4所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述上采样二输入模块对所述分支3中的输出特征图大小上采样到所述分支2的特征图大小,输入到空间注意力模块中得到B21,所述分支2的输出特征图经过空洞空间金字塔池化模块和3×3卷积得到B22;B22经过通道注意力模块得到B23,B22和B23相乘经过空间注意力模块得到B24,B22和B24相乘得到B25;B21和B22相乘得到B26,B25和B26相加得到下采样二输入模块的最终输出B2。

6.根据权利要求4所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述下采样二输入模块对所述分支3中的输出特征图大小下采样到所述分支4的特征图大小,输入到空间注意力模块中得到B41,所述分支4的输出特征图经过空洞空间金字塔池化模块和3×3卷积得到B42;B42经过通道注意力模块得到B43,B42和B43相乘经过空间注意力模块得到B44,B42和B44相乘得到B45;B41和B42相乘得到B46,B45和B46相加得到下采样二输入模块的最终输出B4。

7.根据权利要求4所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述上下采样三输入模块对所述分支2中的输出特征图大小下采样到所述分支3的特征图大小,输入到空间注意力模块中得到B31,所述分支3的输出特征图经过空洞空间金字塔池化模块和3×3卷积得到B32;B32经过通道注意力模块得到B33,B32和B33相乘经过空间注意力模块得到B34,B32和B34相乘得到B35,B31和B32相乘得到B36;所述分支4中的输出特征图大小上采样到所述分支3的特征图大小,输入到空间注意力模块中得到B37,B32和B37相乘得到B38;B35、B36和B38相加得到上下采样三输入模块的最终输出B3。

8.根据权利要求1所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述步骤3中网络训练时的损失函数采用混合损失函数,具体计算公式如下:Ltotal=λLdice+(1‑λ)Lce

其中,Dice损失函数记为Ldice,交叉熵损失函数记为Lce,λ是用于平衡两个损失函数的超参数,参数范围为[0,1];

对于Dice损失函数,具体计算公式如下:

其中,pi表示模型预测的概率值,ti表示对应的目标值,M表示样本的数量;

对于交叉熵损失函数,具体计算公式如下:

其中,pi表示模型预测的概率值,ti表示对应的目标值,M表示样本的数量。

9.根据权利要求1至8任一所述的基于注意力的Water‑Lite‑HRNet遥感图像水体分割方法,其特征在于,所述步骤4采用全连接条件随机场方法对分割结果中存在错误、不确定性和分类目标边界模糊的初始水体分割结果进行后处理,得到精确平滑的最终分类结果。