利索能及
我要发布
收藏
专利号: 2023110562945
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合全局和局部信息的多模态遥感数据分类方法,其特征在于,包括:获取待分类的多模态遥感数据集,并输入至预先训练好的多模态遥感数据分类模型;

所述多模态遥感数据分类模型基于所述待分类的多模态遥感数据集,输出多模态遥感数据分类结果;

所述多模态遥感数据分类模型的训练方法包括:

获取原始高光谱遥感数据和LiDAR数据,对原始高光谱遥感数据进行降维处理,获取低维高光谱特征;

根据确定的训练样本数目,从低维高光谱特征和LiDAR数据中随机筛选出训练集和测试集,搭建初始多模态遥感数据分类模型,并设置多模态遥感数据分类模型的迭代次数和参数;

将低维高光谱特征和LiDAR数据进行多尺度信息融合,获取低维高光谱浅层特征和LiDAR数据浅层特征;

通过双分支Transformer‑CNN特征提取器,将低维高光谱浅层特征和LiDAR数据浅层特征分别进行全局信息提取和局部信息提取,获取低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征;

通过ECA模块融合低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征,利用训练集循环训练初始多模态遥感数据分类模型;当达到最大迭代次数时,获取最终的多模态遥感数据分类模型。

2.根据权利要求1所述的融合全局和局部信息的多模态遥感数据分类方法,其特征在于,所述双分支Transformer‑CNN特征提取器包括SIM‑Transformer模块和INN模块,其中,SIM‑Transformer模块用于利用结构信息建模学习处理低频全局特征,INN模块用于提取高频局部特征。

3.根据权利要求2所述的融合全局和局部信息的多模态遥感数据分类方法,其特征在于,所述将低维高光谱特征和LiDAR数据进行多尺度信息融合,获取低维高光谱浅层特征和LiDAR数据浅层特征,包括:将高光谱遥感图像H和LiDAR L分别通过3×3、5×5和7×7卷积操作,获取多尺度信息H3×3、H5×5、H7×7、L3×3、L5×5和L7×7;按通道维度,融合三个尺度特征,叠加输入相对应的第j维度,获得叠加特征 公式为:式中,Fc为多尺度空谱特征,k为特征维数,Concat为通道叠加,i为多尺度操作, 为叠加特征,j为维度数;

对 的通道维度执行元素相加、元素平均和元素最大化,以生成表示不同处理方法和属性的三个特征图 和 公式为:式中, 为对 的通道维度执行元素最大化生成的特征图, 为对 的通道维度执行元素平均生成的特征图, 为对 的通道维度执行元素相加生成的特征图;

将 和 叠加,进一步通过3×3卷积融合多尺度特征,公式为:j

式中,F为将 和 叠加并通过卷积融合的特征;

将基于多尺度的三个尺度的k组的特征图级联,以获得最终的具有维度k的低维浅层特征,公式为:式中,H1为具有维度k的低维高光谱浅层特征。

4.根据权利要求3所述的融合全局和局部信息的多模态遥感数据分类方法,其特征在于,所述通过双分支Transformer‑CNN特征提取器,将低维高光谱浅层特征和LiDAR数据浅层特征分别进行全局信息提取和局部信息提取,获取低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征,包括:将获取到的浅层特征通过线性映射投影到D维嵌入中,引入可学习的cls嵌入令牌,并将其放在输入序列嵌入的开始,将位置信息嵌入添加到输入序列嵌入,以获得第一层SIM‑Transformer的输入,则:式中,z0为第一层SIM‑Transformer的输入,xcls为可学习的cls嵌入令牌,F(·)为线性映射,Ep为位置信息嵌入, 为浅层特征H1中patch的第N个位置令牌,N是patch数;

则第l个SIM‑Transformer的公式为:

z′l=LN(MSA(zl‑1)+zl‑1)

zl=LN(FFN(zl)+z′l);

式中,LN(·)为层归一化,FFN为前馈神经网络,MSA为多头注意力机制,zl为第l个SIM‑Transformer的全局特征,z;l为第l个SIM‑Transformer的中间特征。

引入结构信息学习,将对象空间上下文信息纳入Transformer中,假设Transformer层有H层,Q和K是D维所有令牌的维度查询和密钥向量,具体公式如下:式中, 和N=NH×NW是patch数,D为维度,Q是D维所有T

令牌的维度查询,K是D维所有令牌的密钥向量,softmax(.)为激活函数,归一化令牌,K 表示为K的转置;

提取patch到令牌和每个头部的cls令牌之间的注意力权重,表示为 相应的总注意力权重计算为:

式中,A为相应的总注意力权重, 为patch到令牌和每个头部的cls令牌之间的注意力权重;

对于不重要patch进行过滤,设置 为阈值,新的注意力权重为:式中, 为新的注意力权重,A(x,y)为在(x,y)位置的patch令牌和cls令牌之间的关系权重, 为阈值。

具有最高关注权重的patch视为最具判别力的patch,设置为参考patch,给定参考patch P0=Px0,y0和水平参考方向,patchPx,y的极坐标定义为:式中,ρx,y是P0与Px,y的相对距离,θx,y是相对于水平方向的归一化极角,NH为patch的长,NW为patch的高,(x0,y0)是NH×NW平面的索引,x为NH×NW平面的横坐标位置,.y为NH×NW平面的纵坐标位置;

因此,结构特征通过两层图卷积获得:

1 2

S=σ(Adj×σ(Adj×X×W)×W);

1 2 new new T new

式中,S为结构特征,W 和W为可学习参数,σ为激活函数,Adj=A ×(A ) 为基于A的节点之间的边权重,X为patch节点特征;

用INN搭配Afiine Coupling层,每个可逆层的变化为:式中,⊙为Hadamard乘积, 为第k个可逆层的输入特征的第1到第c个通道,k=1,...,K,ψi是任意映射函数,不影响可逆层的无损信息传输,i=1,...,3,C为局部特征的通道数。

5.根据权利要求4所述的融合全局和局部信息的多模态遥感数据分类方法,其特征在于,所述通过ECA模块融合低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征,包括:通过ECA模块融合高光谱遥感图像的高频局部特征Hh和LiDAR的高频局部特征Lh,得到高频融合特征Fh;

融合高光谱遥感图像的低频全局特征Hl和LiDAR的低频全局特征Ll,得到低频融合特征Fl;

将高频融合特征Fh与低频融合特征Fl融合为最终特征Fend;

通过ECA模块使最终特征Fend实现高频‑低频信息跨通道交互融合。

6.根据权利要求5所述的融合全局和局部信息的多模态遥感数据分类方法,其特征在于,所述最终特征Fend的公式为:Fend=Concat(Fh,Fl);

式中,Fh为高频融合特征,Fl为低频融合特征,Fend为高频融合特征Fh与低频融合特征Fl融合后的最终特征;

所述通过ECA模块使最终特征Fend实现高频‑低频信息跨通道交互融合的公式为:ω=ρ(C1Dk(Fend));

式中,ω为高频‑低频融合特征,ρ为Sigmod激活函数,C1D为1D卷积。

7.一种融合全局和局部信息的多模态遥感数据分类装置,其特征在于,包括:获取数据模块,用于获取待分类的多模态遥感数据集,并输入至预先训练好的多模态遥感数据分类模型;

输出结果模块,用于所述多模态遥感数据分类模型基于所述待分类的多模态遥感数据集,输出多模态遥感数据分类结果;

所述多模态遥感数据分类模型的训练方法包括:

获取原始高光谱遥感数据和LiDAR数据,对原始高光谱遥感数据进行降维处理,获取低维高光谱特征;

根据确定的训练样本数目,从低维高光谱特征和LiDAR数据中随机筛选出训练集和测试集,搭建初始多模态遥感数据分类模型,并设置多模态遥感数据分类模型的迭代次数和参数;

将低维高光谱特征和LiDAR数据进行多尺度信息融合,获取低维高光谱浅层特征和LiDAR数据浅层特征;

通过双分支Transformer‑CNN特征提取器,将低维高光谱浅层特征和LiDAR数据浅层特征分别进行全局信息提取和局部信息提取,获取低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征;

通过ECA模块融合低维高光谱的低频全局特征和高频局部特征以及LiDAR数据的低频全局特征和高频局部特征,利用训练集循环训练初始多模态遥感数据分类模型;当达到最大迭代次数时,获取最终的多模态遥感数据分类模型。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1‑6中任一项所述的融合全局和局部信息的多模态遥感数据分类方法。

9.一种设备,其特征在于,包括:

存储器,用于存储指令;

处理器,用于执行所述指令,使得所述设备执行实现如权利要求1‑6任一项所述的融合全局和局部信息的多模态遥感数据分类方法的操作。