利索能及
我要发布
收藏
专利号: 2023108143572
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,包括如下步骤:步骤1,将源域和目标域的原始高光谱图像分别划分为支持集和查询集,得到源域支持集、源域查询集、目标域支持集、目标域查询集,以构建小样本情景任务用于训练;

步骤2,分别对两域原始高光谱数据进行因果干预,得到两域的支持特征和查询特征;

所述对两域原始高光谱数据进行因果干预,包括对两域原始高光谱数据进行因果掩码,以及独立因果约束;

所述因果掩码是用于对原始高光谱数据中的非因果因素进行扰动,得到反事实高光谱样本;所述独立因果约束是用于对原始高光谱图像和反事实高光谱图像特征进行约束,得到包含了纯净且独立的因果因素的两域支持特征和查询特征;

步骤3,将两域的支持特征和查询特征输入对抗领域适应模块以降低两域的分布差异;

然后,通过度量查询样本和各类别原型在特征空间的距离进行原型匹配,进而得到查询样本的类别预测概率。

2.根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,步骤3还包括,利用因果关联模块对查询特征及其对应的类别预测之间的互信息进行度量,并通过最大化互信息保障样本特征和类别语义之间的强因果关联,实现因果跨域小样本学习。

3.根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,所述对原始高光谱数据中的非因果因素进行扰动,得到反事实高光谱样本,具体包括如下步骤:步骤2.1,将两域原始高光谱图像输入到因果掩码网络得到因果掩码,从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域;

步骤2.2,在保留原始高光谱图像因果区域像素的同时,对原始高光谱图像非因果区域像素进行置零;

步骤2.3,从两域原始高光谱图像中随机选择异类高光谱图像,并将位于中心位置的中心像素进行剥离,得到异类像素;

步骤2.4,利用所述异类像素替换原始高光谱图像中被置零的像素,得到反事实高光谱图像。

4.根据权利要求3所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,所述因果掩码网络包括依次连接的空间感知模块,光谱编码模块和因果掩码推理模块;

所述将两域原始高光谱图像输入到因果掩码网络得到因果掩码,从而将原始高光谱图像划分为和类别语义相关的因果区域和非因果区域,具体包括如下步骤:首先,两域的高光谱图像被输入到空间感知模块,空间感知模块利用空间掩码获得高光谱图像的中心像素,目标像素,中心局部像素和目标局部像素的光谱信息;

然后,对中心局部像素和目标局部像素进行平均池化以聚合局部空间信息得到中心局部特征和目标局部特征,并将它们和中心像素、目标像素一起输入光谱编码模块进行光谱特征提取,获得空间感知特征集合;

之后,将空间感知集合中的各元素视作空间token,添加一个可学习的嵌入向量作为mask token,构成因果掩码序列;

接着,为因果掩码序列添加位置编码,并利用多头注意力机制建模空间邻域像素和中心像素的依赖关系,并利用多层感知机进行掩码推理,得到各地物像素的因果掩码向量;

接着,基于因果掩码向量,采用贪婪策略,选择具有较高概率的操作得到因果掩码,进而将两域高光谱图像划分为因果区域和非因果区域。

5.根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,所述独立因果约束是用于对原始高光谱图像和反事实高光谱图像特征进行约束,具体包括如下步骤:首先,将两域原始高光谱图像和反事实高光谱图像输入特征嵌入网络,得到两域原始高光谱图像特征和反事实高光谱图像特征;

然后,利用独立因果约束通过最大化反事实高光谱图像与原始高光谱图像各特征维度之间的相关性;并通过最小化原始高光谱图像特征和反事实高光谱图像特征各维度之间的相关性确保因果因子的联合独立,得到包含了纯净因果因素的支持特征和查询特征。

6.根据权利要求5所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,所述特征嵌入网络用于将原始高光谱图像和反事实高光谱图像分割为以像素为单位的空间token序列,并在序列中添加用于捕获全局空间信息的class token,利用多头注意力机制捕获空间token序列的上下文关联,进而得到具有辨识性的原始高光谱图像特征和反事实高光谱图像特征,即得到所述两域原始高光谱图像特征和反事实高光谱图像特征。

7.根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,独立因果约束表示为:其中,g(·)为特征嵌入网络,B为特征维度,COR(·)为关联度量,此处选择余弦度量;xi和 分别表示原始高光谱图像和反事实高光谱图像。

8.根据权利要求1所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,步骤3具体包括如下步骤:首先,将两域的支持特征和查询特征输入对抗领域适应模块,领域适应损失表示为:s t

其中,Ds和Dt分别表示源域和目标域分布,D(·)表示领域判别器,z和z 表示源域和目标域数据的特征;

然后,利用支持特征计算类别原型,并通过度量各查询特征和类别原型的在特征空间的距离获得其对应的预测类别概率;预测类别概率表示为:Q Q

其中,y和z 为查询样本的类别标签和特征,Q表示查询集,C表示类别数量,Oc表示第c类的原型,可通过对支持集样本求均值得到;d(·)为欧式距离度量;

之后,通过最大化因果因素Z和类别预测 之间互信息;互信息优化项表示为:其中, 为Z和 的联合分布,PZ和 为它们的边缘分布;

采用蒙特卡罗积分对上述积分进行近似:

其中, 为从Z和 的联合分布中采样的正样本对, 为从Z和 的边缘分布中采样的负样本对。

9.根据权利要求8所述一种基于因果跨域小样本学习的高光谱图像分类方法,其特征在于,使用多线性映射将 和 嵌入到再生核希尔伯特空间中,以获取不同维度的样本特征和类别预测向量的联合分布和边缘分布:其中, 为多线性映射;

接着,利用反向传播算法优化模型,最小化预测类别概率和标签之间的交叉熵损失以及领域适应损失,同时最大化互信息优化项。