1.一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:包括以下步骤:S1、获取遥感城市场景样本数据集,并从中选定部分类别为训练集,其余部分则为测试集;训练集样本包括类别信息,测试集样本不包括类别信息;
S2、构建零样本识别模型AKG‑DBSS,零样本识别模型AKG‑DBSS采用岭回归网络作为基础网络,采用视觉空间作为嵌入空间;
S3、在零样本识别模型中,基于预训练的yolo‑v5模型提取场景内的典型地物;分析地物空间分布,进而构建局部区域内的景观描述集合,实现自动化构建场景‑景观‑地物三级知识图谱;
S4、在零样本识别模型中,基于VGGnet‑16提取全局和局部的视觉特征;同时采用TransH模型对知识图谱进行表示学习,以获取各场景对应的语义向量;
S5、在零样本识别模型中,分别提取场景级语义相关性矩阵Simg以及景观级语义相关性矩阵Siml;
S6、在零样本识别模型中,采用双分支结构将语义向量分别映射至由VGGnet‑16构建的全局与局部视觉特征空间,并基于Simg与Siml对映射过程进行监督,通过对局部与全局两分支进行加权融合,利用训练集对零样本识别模型进行训练;
S7、选取多张遥感场景图像输入至训练完成的零样本识别模型中,获取场景分类结果,与实际所述类别进行对比,对训练完成的零样本识别模型进行可靠性测试;
S8、对零样本识别模型进行定量评估;
S9、将未知类城市场景影像输入至零样本识别模型,获取该未知类城市场景所属类别。
2.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S3中,基于预训练的yolo‑v5模型提取场景内的典型地物包括以下步骤:S3.1.1、采用公开数据集DOTA对yolo‑v5模型进行预训练,使yolo‑v5模型具备对城市中15种典型地物的识别能力,15中典型地物分别为飞机、轮船、储罐、棒球场、网球场、篮球场、地面跑道、港口、桥梁、大型车辆、小型车辆、直升机、环形交叉路口、足球场以及篮球场;
S3.1.2、获得每张影像对应的典型地物检测结果,记录每个地物的{k,[(xmax,ymax),(xmin,ymin),(X,Y)]},分别对应了yolo‑v5模型输出的地物类别以及地物标记框的左上角、右下角、中心点的坐标值。
3.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S3中,构建局部区域内的景观描述集合包括以下步骤:S3.2.1、选择典型地物之间的9种空间关系Rr,分别为在表面、包含、围绕、对齐、附近、相邻、重合、交叉以及远离;在此基础上,对于属于不同类别的地物k和k′,通过分析每种空间关系的特点并确保不同空间关系之间具有互斥性,规定每种空间关系对应的判别规则;
S3.2.2、通过关联程度描述指标RCI进一步定量评价空间关系的强度:
其中,H和W分别表示影像的高和宽;Xk、Yk与Xk′、Yk′则分别表示k和k′中心点的横坐标值和纵坐标值;
S3.2.3、在某类场景中,若两类地物之间存在多种空间关系,则仅保留RCI取得最大值RCI_m时所对应的一种空间关系Rr_m;若同时有多种空间关系取得RCI_m,则随机保留其中的一种空间关系;最终得到一类场景对应的由
4.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S3中,使用公开遥感场景数据集NWPU进行测试,通过开展典型地物提取及构建局部景观描述集合,获得场景‑景观‑地物三级知识图谱,具体表示为:一个遥感场景包括多种局部景观;每一局部景观包括多种典型地物、地物间空间关系及关联程度;不同遥感场景之间通过具有相同的地物产生关联。
5.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S4中,从全局和局部两个方面分别进行视觉特征的提取,将VGGnet‑16最后一个全连通层的输出作为图像的全局特征,并通过Linear层输出大小为1024×1的特征向量,最终得到全局视觉特征集合VG=[VG1,VG2,...,VGN];将VGGnet‑16的最后一个卷积层的输出作为图像的局部特征,通过Linear层输出大小为1024×1的特征向量,最终得到局部视觉特征集合VL=[VL1,VL2,...,VLN]。
6.根据权利要求5所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S4中,采用TransH模型将自动化场景‑景观‑地物三级知识图谱ASLG‑KG转化为语义向量集合S={s1,s2,...,sT},其中st(t=1,2,...,T)表示第t类场景获得的语义向量,T表示场景的类别总数,包括可见类与不可见类。
7.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S5具体包括以下分步骤:S5.1、通过下式计算场景级语义相关性Simg:
其中,st和st′分别表示两个不同场景的语义向量,T表示场景的类别总数,包括可见类与不可见类;
S5.2、构建一个场景类别对应的景观级编码矩阵:
其中,num表示局部景观描述集合包含的元素个数;对于第i个元素,Qi、Qi′以及QRi分别为k、k′以及Rr_m对应的独热编码向量, 表示对向量的拼接;通过将RCI_m与Rr_m对应的编码向量相乘,使景观级编码矩阵用于反映场景所包含的局部空间关系及对应的关联程度;
S5.3、通过下式计算场景之间的景观级语义相关性Siml:
T T
Siml=1·Lt·Lt′·1,(t≠t′)
其中,Lt和Lt′分别表示两个不同场景的景观编码矩阵,其维数分别为p和q,公式左侧的
1表示维度为p的全1列向量,公式右侧的1表示维度为q的全1列向量。
8.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S6具体包括以下分步骤:S6.1、将遥感场景对应的语义向量集合S分别与Simg和Siml相乘,进而通过映射函数分别映射至全局特征空间与局部特征空间;
S6.2、局部分支和全局分支分别进行映射结果与全局和局部视觉特征间的匹配;
S6.3、通过加权求和方式将局部与全局两分支进行融合。
9.根据权利要求8所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S6中,采用岭回归函数作为基础函数,对相关性监督下的局部与全局映射分支进行联合训练,采用如下损失函数对映射函数进行联合训练:其中,W1和W2分别对应全局与局部分支的映射函数,Simg和Siml对双分支的映射过程进行监督,B为训练数据批量,α为全局与局部分支的加权融合权重。
10.根据权利要求1所述的一种基于知识图谱的双分支零样本遥感场景分类方法,其特征在于:所述步骤S8中,通过总体精度、标准差、类平均精度以及混淆矩阵指标对零样本识别模型进行定量评估。