利索能及
我要发布
收藏
专利号: 2024103316175
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,包括如下步骤:步骤1,从源域和目标域训练数据中随机采样一组元任务,输入元任务嵌入头以获得元任务嵌入集合T,基于所述元任务嵌入集合T构建平衡元任务簇,具体包括如下步骤:步骤1.1,分别从两域的训练数据中随机采样一组元任务,所述一组元任务包括源域元任务和目标域元任务,将所述源域元任务和目标域元任务均输入元任务嵌入头以获得元任务嵌入集合T,表示如下:其中, 和 分别表示源域和目标域的元任务嵌入,N为目标域和源域元任务的数量;

所述元任务嵌入头是基于Transformer的元任务嵌入头,包括均值函数和条件编码模块;所述将源域元任务和目标域元任务均输入元任务嵌入头以获得元任务嵌入集合T,具体步骤如下:首先,基于两域元任务中的各类样本集合,通过均值函数计算类锚点以捕获类相关的统计和结构信息;

之后,将类锚点输入条件编码模块,为元任务中的各个样本生成类相关的位置编码,结构化的类知识被整合到元任务嵌入的学习中;

最后,为元任务中的每个样本注入位置编码,并设置一个可学习的task token,用以捕获各样本之间的依赖关系,进而获得元任务嵌入,源域和目标域的元任务嵌入共同组成了元任务嵌入集合T;

步骤1.2,基于元任务嵌入集合T,通过任务聚类将两域元任务划分为K个任务簇,第k个任务簇Tk表示为:其中,mk和dk分别表示第k个任务簇中源域元任务嵌入和目标域元任务嵌入的数量;采用K‑means实现任务聚类;

步骤1.3,在每一个任务簇中随机采样一个源域元任务和一个目标域元任务,构建平衡元任务簇;

步骤2,从平衡元任务簇中采样源域‑目标域元任务对,将源域和目标域的支持样本和查询样本输入特征嵌入模块,获得源域的支持特征和查询特征,以及目标域的支持特征和查询特征;

然后,将两域的支持特征和查询特征输入领域投影头中,在领域投影头中,首先通过领域自适应得到两域的领域不变特征,即源域领域不变特征和目标域领域不变特征;之后,将源域领域不变特征输入领域特定投影模块,获得源域的域特定特征;

所述领域投影头包括领域判别器;在领域投影头中,首先通过领域自适应得到两域的领域不变特征,具体是通过在领域投影头中,特征嵌入模块和领域判别器之间的对抗学习最小化域不变损失而得到两域的领域不变特征,领域适应的优化目标表示为:s s t

其中,Ds和Dt分别表示源域和目标域,x 表示源域样本,z和z表示源域和目标域样本的特征,E表示期望,D表示领域判别器,Z表示特征嵌入模块;

所述将源域领域不变特征输入领域特定投影模块,获得源域的域特定特征,表示为:s s s

ψ(x)=Γ(Z(x)|x∈S∪Q)

s s s

其中,Γ(·)表示域对域函数,x 表示源域样本,S和Q分别表示源域的支持集和查询集;

步骤3,首先,基于源域的域特定特征通过原型匹配对源域查询样本进行类别预测,并通过计算源域小样本分类损失对模型进行伪更新;

然后,基于目标域的域不变特征通过原型匹配对目标域查询样本进行类别预测,计算目标域小样本分类损失;

步骤4,将源域的小样本分类损失得到的源更新梯度和目标域的小样本分类损失得到的目标更新梯度相结合,获得元任务对的元梯度,通过元迁移梯度更新策略进行模型更新。

2.根据权利要求1所述一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,采用Transformer拟合域对域函数Γ(·)。

3.根据权利要求1所述一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,所述步骤3中所述对源域查询样本进行类别预测与对目标域查询样本进行类别预测的方法相同,所述计算源域小样本分类损失与计算目标域小样本分类损失的方法相同,均按照如下步骤进行:源域和目标域的每个元任务都包含了C个类别的J个支持样本和F个查询样本,将支持样本和查询样本映射到共同的特征空间,得到支持特征和查询特征,并利用支持特征计算类别原型,接着,通过度量各查询样本和类别原型的在特征空间的距离,获得查询样本的类别概率;

查询样本 属于第c类的概率表示为:

其中, 为 的查询样本的类别标签和特征,d(·)为欧式距离度量,Q表示查询集,类别原型mc的计算如下:其中, 表示第n个支持集样本,J表示支持集样本数;

最后,利用小样本分类损失对模型进行优化,小样本分类损失Lfsl表示为:其中,C、F分别表示类别数和查询样本数,d(·)为欧式距离度量。

4.根据权利要求1所述一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,步骤3中所述计算源域小样本分类损失对模型进行伪更新是指,在元迁移学习中,进行源域梯度更新时,将其梯度保存下来,只进行伪更新,不作用于模型上。

5.根据权利要求1所述一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,步骤4中,所述获得元任务对的元梯度表示为其中,Si为源域元任务,Ti为目标域元任务,θ为模型参数;使用元梯度对模型进行更新。

6.根据权利要求5所述一种基于元迁移梯度更新策略的高光谱图像分类方法,其特征在于,所述元迁移梯度更新策略是指:首先,遍历平衡元任务簇中所有的源域‑目标域元任务对按批次进行训练,一个批次中all采样多个元任务对;在每个元任务对均得到对应的元梯度后,求取平均元梯度Grad ,利用allGrad 对模型进行优化:

all

θ′=θ‑ρGrad

其中,ρ为集合元梯度步长。