利索能及
我要发布
收藏
专利号: 2021114875969
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于图网络的遥感图像场景多标签分类方法,其特征在于,包括:将图像转化为图结构;

利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;

构建并训练的多尺度图卷积网络包括:对训练集的图像构建M层的图像金字塔,确定不同尺度相应的图结构;

通过对每个尺度的图结构分别建立N+1层的图卷积网络来构建多尺度图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层用于将卷积层学习的特征转化为一个特征向量;

利用训练集训练所述多尺度图卷积网络;利用测试集对所述多尺度图卷积网络的分类结果进行评价,最终获得多尺度图卷积网络。

2.根据权利要求1所述的基于图网络的遥感图像场景多标签分类方法,其特征在于,将图像转化为图结构,包括:

采用多尺度分割算法将遥感图像划分成一系列分割对象,并将获得的各分割对象视为图结构的节点,利用颜色直方图和灰度共生矩阵组合得到的特征向量对所述图结构的节点进行描述,采用加权邻接矩阵描述图结构中节点之间的边。

3.根据权利要求1所述的基于图网络的遥感图像场景多标签分类方法,其特征在于,利用二元交叉熵损失函数完成多尺度图卷积网络训练,所述二元交叉熵损失函数表示如下:其中, 表示图像真实多标签向量中的第i个元素, 表示图像预测多标签向量中的第i个元素, 表示sigmoid函数,n为图像预测多标签向量中的元素总数。

4.基于图网络的遥感图像场景多标签检索方法,其特征在于,采用权利要求1‑3中任意一项权利要求所述的基于图网络的遥感图像场景多标签分类方法分别对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;

基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;

利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,所述图相似网络包括特征提取模块和相似性计算模块;

按照相似度大小返回图像,得到最终的多标签检索结果。

5.根据权利要求4所述的基于图网络的遥感图像场景多标签检索方法,其特征在于,基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合,包括以下步骤:设 表示查询图像的多标签向量, 表示图像库中图像 的多标签向量,将二者进行向量点积运算,若 ,则将图像 划分到图像集合 中;重复以上步骤,得到最终的图像集合 。

6.根据权利要求4所述的基于图网络的遥感图像场景多标签检索方法,其特征在于,利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,包括:

分别对查询图像和图像集合中的图像构建图像金字塔,确定各图像金字塔选定尺度对应的图结构;

将各图像金字塔选定尺度对应的图结构分别输入到特征提取模块中相应的分支网络得到查询图像 的节点特征矩阵 和图像集合中的图像 的节点特征矩阵 ,并分别映射为特征向量 和特征向量 ,其中所述分支网络包括预先构建并训练的多尺度图卷积网络中所述图卷积网络去除全连接层以后的结构;

将特征向量 和特征向量 合并为一个特征向量 输入到相似性计算模块中的第一网络分支并经过全连接层组合A,衡量图结构的全局相似性;

将查询图像 的节点特征矩阵 和 的节点特征矩阵 合并后输入到相似性计算模块中的第二网络分支经过基于节点的距离矩阵得到距离直方图 ,衡量图结构的局部相似性;

特征向量 经过全连接层组合A,再和距离直方图 组合后输入到全连接层组合B,最终得到两幅图像对应图结构的相似度。

7.基于图网络的遥感图像场景多标签分类装置,其特征在于,包括图结构表示模块和多尺度图卷积网络模块;

所述图结构表示模块,用于将图像转化为图结构;

所述多尺度图卷积网络模块,用于构建和训练多尺度图卷积网络模块;利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;

所述多尺度图卷积网络模块包括针对图像的不同尺度分别建立的N+1层的图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层的用于将卷积层学习的特征转化为一个特征向量。

8.基于图网络的遥感图像场景多标签检索装置,其特征在于,包括:多标签分类模块、第一次检索模块、图相似网络模块以及多标签检索结果确定模块;

所述多标签分类模块采用如权利要求7所述的基于图网络的遥感图像场景多标签分类装置,用于对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;

所述第一次检索模块,用于基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;

所述图相似网络模块,用于构建图相似网络,所述图相似网络模块包括特征提取模块和相似性计算模块;所述图相似网络用于对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度;

所述多标签检索结果确定模块,用于按照相似度大小返回图像,得到最终的多标签检索结果。

9.根据权利要求8所述的基于图网络的遥感图像场景多标签检索装置,其特征在于,所述特征提取模块,用于在相应的分支网络分别输入查询图像和图像集合中图像的图像金字塔中确定选定尺度对应的图结构,得到查询图像的节点特征矩阵 和图像集合中的图像的节点特征矩阵 ,并分别映射为特征向量 和特征向量 ;所述分支网络包括所述多尺度图卷积网络模块预先构建并训练的多尺度图卷积网络中所述图卷积网络去除全连接层以后的结构。

10.根据权利要求8所述的基于图网络的遥感图像场景多标签检索装置,其特征在于,所述相似性计算模块中的第一网络分支用于输入特征向量 和特征向量 合并获得的一个特征向量 并经过全连接层组合A,衡量图结构的全局相似性;

所述相似性计算模块中的第二网络分支用于将查询图像 的节点特征矩阵 和图像集合中的图像 的节点特征矩阵 合并后基于节点的距离矩阵得到距离直方图 ,衡量图结构的局部相似性;

特征向量 经过全连接层组合A,再和距离直方图 组合后输入到全连接层组合B,最终得到两幅图像对应图结构的相似度。