1.一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,包括如下步骤:步骤1,学习最优构图策略,对高光谱图像和激光雷达图像进行构图,得到高光谱空间图和激光雷达空间图;具体步骤如下:步骤1.1,智能体所处像素的特征作为观测信息输入到状态观测网络中,得到状态向量st;
步骤1.2,结合智能体所处当前像素的状态向量st和已观测的像素状态向量,利用评估网络Qe(·)对像素选择动作的价值进行评估,并基于ε‑greedy策略采取动作at,所述动作at包括选择该像素,以及不选择该像素;
步骤1.3,智能体转移到下一状态st+1;
步骤1.4,利用目标网络Qt(·)根据智能体状态st+1对智能体的未来奖励进行评估,并通过最小化贝尔曼均方误差L优化智能体的当前构图策略,所述贝尔曼均方误差L表示如下:其中,E表示期望,Qe(·)表示评估网络,we为评估网络参数,ψ为网络的学习目标,表示为:其中,Qt(·)为目标网络,wt为目标网络参数;π(st+1)为目标网络对状态st+1的未来奖励评估;γ为奖励折扣因子;
最后,利用训练好的智能体对高光谱图像和激光雷达数据中的各像素进行选择,建立像素之间的边关系,得到所述高光谱空间图和激光雷达空间图;
步骤2,利用边缘特征提取器分别捕获高光谱空间图和激光雷达空间图的边特征,将所述边特征进行边缘图注意力学习,获得各邻域节点的重要性权重,并通过节点特征聚合对两模态空间图的节点特征进行更新;
步骤3,利用交叉注意力机制捕获两模态的共享特征,利用自注意力机制分别捕获高光谱空间图和激光雷达空间图的特定特征;通过拼接共享特征和特定特征得到多模态融合特征以完成对地物类别的预测。
2.根据权利要求1所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,所述状态观测网络包括多层感知机和长短期记忆网络,网络包括多层感知机的输出端连接长短期记忆网络。
3.根据权利要求1所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,步骤2中所述利用边缘特征提取器分别捕获高光谱空间图和激光雷达空间图的边特征,对于每一条边(i,j),高光谱图像的边特征 和激光雷达的边特征 分别表示为:e
其中, 和 分别表示高光谱和激光雷达的边特征,CONCAT(·)表示拼接操作,W 为可学习的LiDAR边缘特征学习参数,SLM表示光谱学习模块。
4.根据权利要求3所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,所述光谱学习模块SLM采用门循环单元GRU处理每个节点的特征序列;对于波段bl,门循环单元GRU的隐藏状态hl通过以下方式更新:其中,W是哈达玛积,rl和zl是重置门和更新门,Wr,Wz,Wh,Ur,Uz,Uh为权重矩阵,mr,mz,mh为偏置项。
5.根据权利要求3所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,步骤2中将所述边特征进行边缘图注意力学习,获得各邻域节点的重要性权重,所述各邻域节点的重要性权重采用注意力分数表示;
高光谱空间图像节点之间的注意力分数 表示为:
激光雷达空间图像节点之间的注意力分数 表示为:
6.根据权利要求5所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,利用多头注意力机制对各节点特征进行聚合,更新特征如下;
q
其中,W为可学习的节点聚合矩阵,Q为注意力头的数量,σ(·)表示激活函数;
H
根据上式,高光谱空间图像的特征表示为Fi,激光雷达空间图像的特征表示为
7.根据权利要求5所述一种基于多模态强化图注意力网络的高光谱图像分类方法,其特征在于,步骤3中所述利用交叉注意力机制捕获两模态的共享特征,具体为:首先,将高光谱图像和激光雷达空间图进行解耦,得到共享节点特征集合和非共享节点特征集合;然后,利用交叉注意力机制捕获两模态的共享节点特征 表示为:其中, 为激光雷达空间图的节点特征, 为高光谱图像空间图的节点特征,d为特征V维度, W分别代表查询向量,键向量和值向量;
s
再通过全局平均池化聚合模态共享节点特征,得到模态共享特征M:其中,E表示共享节点集合中的高光谱图像和激光雷达的空间图节点对数量;
步骤3中利用注意力机制分别捕获高光谱空间图和激光雷达空间图的非共享节点特征,对于非共享节点特征进行如下更新:其中,σ(·)表示激活函数,W△为可学习的权重矩阵,Nj和Nk分别表示 和 的邻域节点集合, 和 分别为高光谱图像和激光雷达的非共享节点集合中的节点;αjl和αkn表示注意力权重,通过下式计算:A
其中,W为注意力学习参数,WΓ为映射参数,||表示连接操作;
通过全局平均池化聚合更新后的非共享节点集合中的两模态节点特征,获得模态特定特征:其中, 和 分别表示两模态的模态特定特征;通过拼接共享特征和特定特征得到多模态融合特征以完成对地物类别的预测,预测标签 表示为:其中,Wcls为分类器的参数。