1.一种基于深度学习的遥感图像中的露天矿场检测方法,其特征在于:该方法包括以下步骤:
1)采集露天矿场的遥感图像,制作露天矿场检测的数据集;
2)构建露天矿场检测的深度学习模型,将遥感图像输入特征提取网络,用以提取特征;
3)将获取的特征图输入到扩展的特征金字塔网络ET-FPN进行处理,提取露天矿场多尺度特征信息;
4)混合注意力的区域生成区域候选网络MA-RPN生成候选区域,采用滑动窗口的方式生成锚框,并对锚框进行分类和边界框回归,基于混合注意力机制提取出感兴趣区域RoI;
5)感兴趣区域对齐层RoIAlign采用非线性插值法将MA-RPN筛选的感兴趣区域与特征提取网络提取的特征图对应区域的特征,得到固定尺寸的特征图;
6)对MA-RPN筛选的感兴趣区域RoI进行分类和边界框的回归,并使用全卷积网络从感兴趣区域预测分割掩膜。
2.根据权利要求1所述的一种基于深度学习的遥感图像中的露天矿场检测方法,其特征在于:所述特征金字塔网络ET-FPN满足:
1)特征纹理迁移模块用于超分辨率特征并选取置信度较高的区域特征;
2)设计一种前景和背景之间平衡的损失函数来减轻前景和背景的面积不平衡的问题。
3.根据权利要求1所述的一种基于深度学习的遥感图像中的露天矿场检测方法,其特征在于:所述区域候选网络MA-RPN,为区域生成网络引入混合注意力机制,其中混合注意力机制包括空间注意力和通道注意力。
4.根据权利要求1所述的一种基于深度学习的遥感图像中的露天矿场检测方法,其特征在于:所述1)具体为:a)以谷歌地球作为数据源,采集露天矿场遥感图像数据;
b)将采集的图像裁剪为512x512大小并进行数据增强,防止训练时过拟合;
c)使用标注工具对图像进行标注,标注好的数据划分为训练集和测试集。
5.根据权利要求4所述的一种基于深度学习的遥感图像中的露天矿场检测方法,其特征在于:所述2)具体为:a)以残差模块构成的特征提取网络为骨干网络,用来提取特征;
b)扩展的特征金字塔网络ET-FPN提取露天矿场多尺度特征信息;扩展的特征金字塔网络ET-FPN框架中:Ai表示特征提取网络中第i阶段的特征图,Bi表示ET-FPN上的各个特征金字塔层;
特征纹理迁移模块输入特征B3的主要语义内容首先由内容提取器提取,纹理提取器从主流特征和参考特征的组合中选择可靠的区域纹理用于露天矿场检测,通过残差连接将纹理和高分辨的内容特征融合在一起,为ET-FPN生成B'3层;
特征纹理迁移模块的主要输入是ET-FPN第三层特征图B3,参考ET-FPN第四层特征图B2,输出B'3定义为:B'3=Pt(B2||Pc(B3)↑2×)+Pc(B3)↑2×在训练模型中,正样本特征图误差定义为:
全局特征图误差定义为:
L全局(F,Ft)=||Ft-F||1
前景和背景之间平衡的损失函数定义为:
L前-背(F,Ft)=L全局(F,Ft)+λL正(F,Ft)总损失函数:
L总=L前-背(B'3,B3↑2×)+L前-背(B'2,B2↑2×)其中Pt表示纹理提取器,Pc表示内容提取器,↑2×表示2倍上采样操作,L总分别来自B'3-B3层特征图差和B'2-B2层特征图误差;
c)使用混合注意力的区域生成网络MA-RPN生成锚框和提取出感兴趣区域RoI,MA-RPN由通道注意力和空间注意力组成;
通道注意力将一个通道上整个空间特征编码聚合为一个全局特征,再通一种运算提取通道之间的关系,通道注意力模块的计算公式如下:Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=σ(W1(W0(Fcavg))+W1(W0(Fcmax)))其中,σ表示sigmoid激活函数,MLP表示多层感知器,用来共享参数,Fcavg和Fcmax表示全局平均池化和全局最大池化输出的特征;输入的特征图F通过全局最大池化和全局平均池化,然后分别通过多层感知器,将感知器输出的特征进行基于逐元素的相加操作,最后经过sigmoid激活函数,生成最终的通道注意力特征Mc;
空间注意力用于准确定位空间中的露天矿场特征,添加空间注意力能准确定位露天矿场,提高检测的准确率;空间注意力模块的计算公式如下:Ms(F)=σ(f3*3([AvgPool(F),MaxPool(F)]))=σ(f3*3([Fsavg,Fsmax]))
其中,σ表示sigmoid激活函数,f3*3表示卷积层使用3*3的卷积,空间注意力模块使用全局平均池化和全局最大池化对输入的特征图F进行压缩操作,对输入特征分别在通道维度上做平均池化和最大池化操作,然后将得到的两个特征图按通道维度拼接,再经过一个卷积操作降维为1个通道,最后经过sigmoid函数生成空间注意力特征Ms;
d)感兴趣区域对齐层RoIAlign采用非线性插值法将MA-RPN筛选的感兴趣区域与特征提取网络提取的特征图对应区域的特征,得到固定尺寸的特征图;
e)对MA-RPN筛选的感兴趣区域RoI进行分类和边界框的回归,并使用全卷积网络从感兴趣区域预测分割掩膜。