利索能及
我要发布
收藏
专利号: 2022116006318
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种无源域数据的无监督领域适应方法,其特征在于:所述方法包括以下步骤:步骤1:以有标签的源域样本训练模型,得到预训练好的源域模型;

步骤2:以源域模型初始化目标域模型,包括特征提取器和分类器;

步骤3:以源域模型的BN层存储的统计信息近似源域的特征分布,与目标域样本的特征分布显式对齐,计算分布对齐损失LBN;

步骤4:基于目标域模型的分类器的预测,对目标域样本的特征进行模糊聚类,以聚类隶属度作为目标域样本的软标签,计算软标签与模型分类器对目标域样本的预测之间的交叉熵损失Lclu;

步骤5:对目标域样本计算信息最大化损失LIM,信息最大化损失包括最小化熵损失和最大化平均熵损失;

步骤6:以所述分布对齐损失LBN、交叉熵损失Lclu和信息最大化损失LIM共同训练目标域模型,实现无源域数据的无监督领域适应。

2.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述步骤1中,通过标签平滑后再计算交叉熵损失,目标函数为,其中,fs表示预训练好的源域模型,包括特征提取器gs和分类器hs,满足给定输入x,fs(x)=hs(gs(x));K表示类别数目,k对应任一类别,Xs为源域样本集;给定qk为源域样本xs的标签,则 是对qk平滑后的标签,满足 α是平滑系数,

0<α<1;

σ(·)表示对某一给定向量的softmax归一化操作,假设给定向量a和温度参数T,用σk表示对某个向量σ(·)操作后得到的第k维的值,ak表示向量a第k维的值,j指向量a第j维,式(1)中T为1。

3.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述目标域模型的分类器固定不变。

4.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述步骤3中,BN层的统计信息包括均值和方差;以源域模型的每个BN层中每个通道的均值、方差表示的高斯分布与目标域样本对应BN层的当前batch样本的每个通道的均值、方差表示的高斯分布,计算KL散度的平均值,作为衡量源域和目标域样本特征分布的距离。

5.根据权利要求4所述的一种无源域数据的无监督领域适应方法,其特征在于:所述分布对齐损失LBN为,其中,M表示模型中BN层的总数,Cm表示第m个BN层的通道总数, 和 表示源域模型中第m个BN层第cm个通道存储的均值和方差, 和 表示当前batch经过目标域模型第m个BN层的第cm个通道的均值和方差;DKL为KL散度;

最小化损失函数LBN。

6.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述步骤4包括以下步骤:步骤4.1:以目标域模型分类器输出的概率为权重,对提取的特征进行加权平均,初始化簇中心,其中,Pk表示第k个类的簇中心,ft表示目标模型,包括特征提取器gt和分类器ht,满足给定输入x,ft(x)=ht(gt(x));xt表示目标域样本,Bt表示当前读入的目标域样本的batch,σ(·)表示对某一给定向量的softmax归一化操作,上标T表示向量的转置;

步骤4.2:根据簇中心δk计算样本到每个簇中心的余弦距离,取倒数再softmax归一化得到样本的预测分布,同时加上温度参数T调节软标签的平滑程度,其中,D表示余弦距离, 表示聚类得到的软标签在第k个类的概率或隶属度,此时温度参数满足0.6≤T≤1.2;

步骤4.3:用该软标签和模型分类器对目标域样本的输出概率分布计算交叉熵损失,纠正由于源域分类器分类错误的目标域样本预测。

7.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述步骤5中,信息最大化损失满足,LIM=Lent+Ldiv                    (6)其中,Lent为最小化熵损失,Ldiv为最大化平均熵损失, 为第k个类的平均隶属度,

8.根据权利要求1所述的一种无源域数据的无监督领域适应方法,其特征在于:所述步骤6中,完整目标函数Lgt为,Lgt=LIM+βLBN+γLclu                 (7)其中,β和γ为对应的超参数,β,γ∈[0.6,

1.0]。