利索能及
我要发布
收藏
专利号: 2023100581352
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,包括以下步骤:S1,获取并处理训练数据集,将数据集划分为训练集和验证集;

S2,构建用于深度学习语义的分割网络;

S3,利用S1得到的数据集,在S2建立的分割网络中进行网络模型的训练;

S4,使用训练好的网络模型进行预测并生成云和云影的掩膜图像;

S2中构建的网络包括:主干网络ResNet‑18、多尺度全局注意力模块、条状金字塔通道注意力模块和层级特征聚合模块;

其中,主干网络ResNet‑18提取不同层次的特征信息,通过多尺度全局注意力模块加强模型对通道信息和空间信息的注意力,并使用条状金字塔通道注意力模块多尺度学习空间信息,最后通过层级特征聚合模块将高维特征与低维特征融合,逐层上采样得到最终的分割效果;

所述条状金字塔通道注意力模块包括条状卷积和压缩‑激励权重模块;条状金字塔通道注意力模块实现经过以下四个步骤:

1)使用四个卷积核大小不同的条状卷积来提取不同尺度的特征构建成特征金字塔;

2)利用SEWeight模块计算不同特征块的通道注意力;

3)通过使用Softmax对通道关注向量进行重新校准,得到多尺度通道的重新校准权重;

4)将重新校准的权重和对应的特征进行对应元素乘积,最后得到多尺度特征信息的精细化特征图。

2.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,S1中,将大小为4800×2742像素的原始图片统一裁剪为224×224大小,最终得到

3×224×224大小的图像,之后将所有图片以8:2的比例划分为训练集和验证集。

3.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,所述多尺度全局注意力模块包括分层多尺度卷积模块、全局空间注意力模块和全局通道注意力模块;多尺度全局注意力模块的实现过程为:C×H×W

浅层特征FL∈R 经过分层多尺度卷积模块,得到提取浅层特征丰富的空间信息的特

2C×H/2×W/2

征 再将它和下一层主干网络输出的高维特征FH∈R 相加得

2C×H/2×W/2

到初步特征F∈R ;将初步特征F通过并行的全局空间注意力模块和通道注意力模块得到权重WS和WC;上述过程公式表示为:其中, 表示permutation操作,用于调整矩阵的维度,将矩阵维度从H*W*C转换到C*W*H,MLP表示在通道维度及进行全连接操作,σ表示Sigmoid函数;

最后权重Ws和WC与初步特征F相乘,得到在全局范围上对目标进行空间和通道注意力加

2C×W/2×H/2

强的特征Ms和MC,将其与经过卷积后的初步特征FC相加,最后输出FO∈R ;上述过程可以数学上表示为:其中分层多尺度卷积模块的公式表示为:

得到输出zi后,对zi在通道维进行合并,最后通过1×1的卷积将通道数调整为想要的数量进行输出。

4.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,所述压缩‑激励权重模块的实现过程在数学上可以表示为:wc=σ(W1r(W0(gc))

其中,GAP表示全局平均池化,r表示ReLU函数,W0是输入为C输出为C/r的全连接,W1是输入为C/r输出为C的全连接,符号σ表示激活函数Sigmoid。

5.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,所述层级特征聚合模块对浅层和深层特征的聚合过程包括以下步骤:

1)浅层特征F1经过改进的自注意力模块,得到加强位置信息的浅层特征F11;

2)让深层特征F2通过3×3卷积和双线性插值上采样,将它的大小改变为与浅层特征相同的F21;

3)将其加权并将对应元素与浅层特征相乘,以得到增强分类能力得浅层特征U1;

4)浅层特征F1通过平均池化得到和深层特征大小相同的F12;

5)F12和经过两层3×3卷积并且通过Sigmoid加权的深层特征F22相乘,以此来得到增强空间信息的深层特征U2;

6)最后将U1和经过双线性插值上采样的U2相加,并送入3×3卷积,完成深层特征和浅层特征的融合。

6.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,S3中采用监督训练的训练模式,具体步骤为:S31,首先将数据集中的图片进行数据增强操作,以0.2的概率对数据集中的图片进行随机旋转,水平翻转或者垂直翻转操作;

S32,将图片和标签转换为张量,图片作为模型的输入序列,输出和标签用于损失函数的计算,并将每次输入的批量大小设置为8,采用ploy策略随着训练次数的增大相应的减小学习率来进行训练以达到更好的训练效果,iter为当前迭代次数,迭代系数power设置为

0.9,最大训练次数maxiter为300;

其中,学习率计算公式如下:

选择交叉熵作为最大损失函数,公式表示为:

其中x是模型输出的预测图片,class是标签,使用Adam优化器。

7.根据权利要求1所述的基于深度学习的遥感图像云和云影的精细分割检测方法,其特征在于,S4中,在预测时,使用训练迭代过程中验证集MioU最高的一次的模型参数来进行预测;输入一张彩色图片,经过训练好的权重提取特征进行编码解码操作后输出得到云和云影的掩膜图像。

8.基于深度学习的遥感图像云和云影的精细分割检测系统,其特征在于,包括:数据处理模块:用于获取并处理训练数据集,将数据集划分为训练集和验证集;

网络构建模块:构建用于深度学习语义的分割网络;

训练模块:利用数据集,在分割网络中进行网络模型的训练;

图像生成模块:使用训练好的网络模型进行预测并生成云和云影的掩膜图像;

S2中构建的网络包括:主干网络ResNet‑18、多尺度全局注意力模块、条状金字塔通道注意力模块和层级特征聚合模块;

其中,主干网络ResNet‑18提取不同层次的特征信息,通过多尺度全局注意力模块加强模型对通道信息和空间信息的注意力,并使用条状金字塔通道注意力模块多尺度学习空间信息,最后通过层级特征聚合模块将高维特征与低维特征融合,逐层上采样得到最终的分割效果;

所述条状金字塔通道注意力模块包括条状卷积和压缩‑激励权重模块;条状金字塔通道注意力模块实现经过以下四个步骤:

1)使用四个卷积核大小不同的条状卷积来提取不同尺度的特征构建成特征金字塔;

2)利用SEWeight模块计算不同特征块的通道注意力;

3)通过使用Softmax对通道关注向量进行重新校准,得到多尺度通道的重新校准权重;

4)将重新校准的权重和对应的特征进行对应元素乘积,最后得到多尺度特征信息的精细化特征图。