1.一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,包括以下步骤:步骤A、训练数据准备,包括生成所有训练高分遥感影像的超像素图、生成建筑物类别热力图、建筑物背景热力图以及初始像素语义关联度标签;
步骤B、深层特征提取,将获取的高分遥感图像和高分遥感影像对应的语义标签输入至特征压缩模块,获得深层特征图D;
步骤C、边界特征融合,将超像素图G、深层特征图D输入至边界注意模块中进行运算与融合,得到边界注意图BA;
步骤D、像素语义关联度学习,在生成的边界注意图上计算像素之间的语义关联度,并通过转移概率矩阵计算校正建筑物目标热力图;
步骤E、定义像素关联度损失函数和分类损失函数,对像素语义关联度学习、边界注意模块和特征压缩模块进行优化,并配合VGG16网络中的全局平均池化层(GAP)和全连接层(FC)进行图像类别激活可视化操作(CAM),得到优化后的建筑物目标热力图;
步骤F:生成建筑物伪标注,将生成的建筑物伪标注和高分遥感影像作为全卷积神经网络的输入,训练收敛后,实现建筑物特征自动提取;
步骤C具体包括以下步骤:
s1、获取浅层特征,将特征压缩模块中的第二个卷积模块输出特征图上采样至第一个卷积模块输出特征图大小,并将上采样后的特征图与第一个卷积模块输出的特征图串联,得到浅层特征其中h为浅层特征图的高度,w为浅层特征图的宽度,c1为浅层特征图S的通道数;
s2、获取深层逆向语义特征,将深层特征图 上采样4倍,得到深层特征其中c为深层特征图D的通道数;进一步将 处理为深层逆向语义特征 具体是:
其中,σ是指Sigmoid函数计算;
s3、获取边界自注意特征,将浅层特征S和深层逆向语义特征 进行Hadamard product运算,得到边界自注意特征N,具体是:其中,⊙指Hadamard product运算;
s4、获取超像素边界特征,将超像素图 是处理为超像素边界特征,具体是:s5、获取融合边界特征图,将边界自注意特征N和超像素边界特征 进行Hadamard product运算,并采用一个下采样模块进一步抽象特征图,使其尺寸与经过语义压缩输出的特征图尺寸相同,得到融合边界特征图s6、生成边界注意图,将融合边界特征图B与深层特征图 进行串联聚合,再通过卷积块进一步提取特征,生成边界注意图
2.根据权利要求1所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,步骤A具体包括以下步骤:a1、超像素图生成,将获取的高分遥感影像作为训练输入,输入至超像素分割模型中,设定每个超像素图的超像素个数,生成与所有高分遥感影像对应的超像素图G;
a2、建筑物类别热力图生成,将获得的高分遥感影像和高分遥感影像对应的语义标签作为输入,采用卷积神经网络生成CAM分割种子,得到建筑物类别热力图Mb;
cam
其中,Wb是建筑物类别的权值,f (x,y)表示在特征图中位于(x,y)处的特征向量;
a3、背景热力图生成,将步骤a2中的建筑物类别热力图Mb归一化处理得到M'b,将M'b激活值限制在[0,1]的区间范围内;通过式3)公式进一步计算背景热力图Mbg;
α
Mbg(x,y)={1‑max M'b(x,y)} 3);
其中,α是超参数,α数值可设置为[1,+∞]的区间范围,用于调整背景置信分数;
a4、建筑物可信区域获取和背景可信区域获取,通过步骤a3中的α放大Mbg,激活建筑物目标区域对象,选取建筑物得分大于放大背景得分的坐标作为建筑物可信区域,选取背景得分大于建筑物得分的坐标作为背景可信区域;
a5、像素语义关联度标签生成,得到了建筑物可信区域和背景可信区域后,将遥感图像中的其余区域视为中性区域,根据建筑物可信区域和背景可信区域做成关联矩阵,这个关联矩阵就是像素语义关联度标签,根据确定区域的类别标签为每一对坐标分配标签,对于一对非中性区域的坐标(xi,yi)和(xj,yj)来说,如果遥感图像中两个不同像素同属于同一个类别的可信区域,这两个像素赋关联值为1,不是同一类别的关联值就为0;如果有一个像素是中性区域,就忽略这对坐标。
3.根据权利要求1所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,步骤B具体包括以下步骤:b1、采用VGG16作为基础网络,移除VGG16中第3、4和5个下采样模块的池化层,并用空洞卷积率为3的卷积块代替;
b2、特征压缩,将高分遥感影像和高分遥感影像对应的语义标签输入至卷积块代替的VGG16网络,代替的第3、4和5个卷积模块输出的特征图的通道数分别为128、256和512维;
b3、多尺度特征融合,在b2的基础上将三个特征图串联成一个具有896通道数的单一特征映射;
b4、将单一特征映射再通过1x1的卷积层,生成压缩后的深层特征图D。
4.根据权利要求1所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,步骤D具体包括以下步骤:d1、像素关联度计算,在边界注意图BA上进行像素关联度计算,得到像素语义关联矩阵W,其对角线元素为1,一对特征向量之间的语义关联度是用它们距离定义的;特征i与特征j之间的语义关联度由Wij表示;
Wij=exp{‑||BA(xi‑yi)‑BA(xj‑yj)||1} 7);
其中,(xi,yi)表示边界注意图BA上第i点的坐标,(xj,yj)表示边界注意图BA上第j点的坐标;
d2、对角矩阵计算,对语义关联矩阵的每行数值计算均值并进行归一化处理,将每行标准化后的数值分布在矩阵的主对角线上,其他位置元素为0;
d3、转移概率计算,将计算得到的像素语义关联矩阵转化为转移概率矩阵H,具体是:‑1 ⊙β
H=D W ,其中
⊙β
其中,超参数β值大于1,W 是指将W矩阵与超参数β做Hadamard product运算后得到的矩阵,Dii表示对角矩阵D中第i个对角元素的值;
d4、热力图校正,将转移概率矩阵H和热力图相乘,实现像素间的语义传播,通过迭代执行此传播,直至预定义的迭代次数,得到校正后的建筑物目标热力图;
其中,vec(·)表示矩阵的向量化, 指校正的热力图,t为迭代次数。
5.根据权利要求1所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,步骤E具体包括以下步骤:e1、分类损失计算,将高分遥感影像对应的语义标签作为监督信息,包含建筑物的图像标记为1,不包含建筑物的图像标记为0,采用交叉熵损失函数来计算分类损失,具体是:其中m取值为当前输入的批量样本总数;
e2、像素样本对集合构造,具体是考虑建筑图像相邻坐标像素的关联度,得到训练中使用的像素对集合ρ;
d(··)是欧式距离,γ是搜索半径;
+ ‑ +
e3、像素对划分,将ρ分成正负对的两个子集ρ和ρ ,然后进一步将ρ 分为两个子集:建筑物像素对 和背景像素对其中 是指预测的像素i和像素j之间的像素关联度;
e4、子集像素关联度损失计算,具体是计算三个子集的交叉熵:e5、像素语义关联度损失结合,结合三个子集的损失函数,将像素语义关联的损失函数表示为:e6、总体损失函数计算,包括分类损失和像素关联度损失,具体是:L=L_cls+λL_aff 18);
其中λ为权重系数,λ取值范围为[0,1]。
6.根据权利要求1所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,步骤F具体包括以下步骤:f1、热力图尺寸恢复,利用双线性插值对步骤E中的热力图进行上采样,使得获取的建筑物热力图尺寸等于高分遥感影像尺寸;
f2、建筑物伪标注生成,将热力图进行像素值的归一化处理,像素值限制在[0,1]的范围内,将热力值高于0.5的像素区域视为建筑物区域,低于该阈值的像素区域视为其他地物,生成建筑物图像的伪分割标注;
f3、建筑物特征自动提取,将建筑物伪标注作为监督信息,将高分遥感影像和建筑物伪标注输入至全卷积网络模型训练,实现建筑物特征自动提取。
7.根据权利要求1‑6任一项中所述的一种结合像素语义关联和边界注意的高分影像弱监督提取方法,其特征在于,所述高分遥感影像和高分遥感影像对应的语义标签通过互联网下载获取。