利索能及
我要发布
收藏
专利号: 2023104807606
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于语义表征的无监督域适应图像分类方法,利用有类别标签的图像样本即源域,学习分类另外一组数据分布不一样的无类别标签的图像样本即目标域,其特征在于,包括以下步骤:步骤1)预训练和自训练:使用源域图像样本在卷积神经网络上进行预训练,获得基于源域图像样本表征的骨干网络,包含特征提取器和分类器;

基于上述骨干网络,连接设置域判别器、编码器和生成器,构建并训练域适应模型,学习源域图像样本分类信息,并使用自训练学习获取目标域的伪标签;

步骤2)提取类别语义表征:设每类图像样本存在K种语义属性,通过改变各语义向量方向,判断不同的语义属性是否影响对应样本指向其所属类别,提取到各个类别的有效类别语义表征;

步骤3)模糊跨域语义表征:设两组数据分布不同的图像样本,即源域和目标域为两类样本,它们存在P种语义属性,在域适应模型中嵌入对抗网络,设置域判别器,模糊源域和目标域的域类别概念,模糊跨域语义表征;

步骤4)重构分析:使用生成器分别对有效类别语义表征和模糊后的跨域语义表征生成新的样本表征,并联合编码器计算重构损失;

步骤5)训练分类器和域判别器:使用新样本表征进一步训练分类器和域判别器,并计算分类损失和对抗损失;

步骤6)模型优化:梯度计算,优化更新模型参数,使用最终模型获得图像分类结果。

2.根据权利要求1所述的基于语义表征的无监督域适应图像分类方法,其特征在于,步骤1)中,使用源域图像样本预训练获得骨干网络,以及自训练学习获取目标域样本伪标签,方式如下:构建特征提取器和分类器,随机初始化域判别器、编码器和生成器,获取预训练模型的表达形式和目标域样本的初步伪标签;所述预训练模型的表达形式如下:f=Gf(z;θf),y=Gy(f;θy)(1)

其中,z表示源域图像样本表征,f和y分别表示对应样本特征和类别标签信息,Gf和Gy分别表示特征提取器和分类器,θf和θy分别为对应Gf和Gy的网络模型参数;所述目标域样本的伪标签表达形式如下:其中,nt和c分别表示目标域样本个数和类别数,Pij是由分类器Gy得到的表示第i个未标记样本被预测为第j个类别的置信度,τ表示阈值, 和 分别表示目标域第i个样本的表征和类别标签信息, 表示预测得到的高置信样本集合,公式(3)表示了目标域数据预测得到的高置信样本及其标签集合。

3.根据权利要求2所述的基于语义表征的无监督域适应图像分类方法,其特征在于,步骤2)中,提取有效类别语义表征,具体包括:

0 j

步骤2‑1)设每一类样本存在K个语义表征向量,存在c个类别,则S={S ,...,S ,...,cS}表示所有类别的语义表征向量集合;其中 表示在第j个类别的K个语义表征向量;

j

求取子集0表示第j个类别的有效语义表征,初始时 设第j个类别的有效语义表j

征存在k个,则求得|0|=k;

通过改变有效语义表征向量的方向,检测出对应样本、对应语义表征是否具有正确类别的指向性;

0 j c

设以D={D ,...,D ,...,D}表示各个类别的k个有效语义表征向量变化方向,正方向j k为+1,负方向为‑1,初始时 则求得D∈{±1};

步骤2‑2)对第j个类别的样本x改变其语义表征向量的方向得 计算变换前后的分类差异并进行记录,得到如下的表达形式:其中,s,d分别表示样本x在不同语义属性s的变换方向d且 Δ[x,s,d]表示了在对应组合[x,s,d]下的分类差异记录值;根据上述公式,得到第j个类别的所有样本语义表征变换,表达形式如下:其中, 表示第j个类别的所有样本特征,共存在nj个样本,s1至sk表j

示对应样本的k个语义表征向量,d表示了对应语义表征向量的方向,Δ[X ,s,d]整体表示了第j个类别nj个样本在k个语义表征向量变换下的分类差异记录数据集合,集合中的每个元素表示了一个样本在对应语义表征向量及其方向下的分类差异值;在第j个类别中,对所有样本的同一语义属性变换结果求均值,得到如下表达形式:其中, 和 表示第j个类别所有样本在s1和sk语义表征向量变换的分类差异均值, 表示了在s1至sk语义表征向量下的分类差异均值记录集合;

步骤2‑3)对第j个类别,如果某一语义表征向量的变化方向不一致,则赋值为0表示该语义属性不具备解释性,表达形式如下:在各个语义表征向量的变化结果均值中求取最大值,即获得最具解释性的表示该样本属于第j个类别的语义表征,表达形式如下:其中,smax,dmax分别表示在分类差异最大化,即 值最大的情况下的语义表征向量及其方向;

步骤2‑4)更新步骤2‑1)中的有效语义表征集合及变化方向集合,表达形式如下:j j j j

S=0∪{smax},D=D∪{dmax}(10)

步骤2‑5)对第j个类别重复步骤2‑2)至2‑4),直至获得top_k个可解释性的语义表征,即 其中top_k表示前k个最具解释性的语义表征, 表示第j个类别的基于top_k语义表征的所有样本特征表示集合,即j

属于第j个类别的有效类别语义表征,t表示设定的阈值,最终得到|S|=k;

步骤2‑6)对所有类别重复步骤2‑2)至2‑5),得到有效类别语义表征,即表示所有基于有效类别语义表征的图像样本特征集合。

4.根据权利要求3所述的基于语义表征的无监督域适应图像分类方法,其特征在于,步骤3)中,所述模糊跨域语义表征,具体包括:步骤3‑1)将步骤2‑1)至2‑6)的数据类别符号c重新设为d′,且d′={0,1},即以源域和目标域作为两种图像类别样本,d′=0表示为源域的域类别标签,d′=1表示为目标域的域类别标签;

0 1

则根据已有步骤得到S={S ,S},表示源域和目标域对应的域级别语义表征向量集合,

0 1

D={D ,D},表示源域和目标域对应语义表征向量方向的集合;

区分图像类别c和域类别d′,设置域判别器Gd对域类别d′进行预测,则跨域表征的可解释性语义获取表达形式如下:其中,Δd[x,s,d]表示训练样本x经过语义表征s及其方向d的变换后 的域类别分类差d′ d′异;X 表示源域或目标域所有样本的集合,Δd[X ,s,d]表示源域或目标域所有样本对应p种语义表征及其方向的集合; 表示源域或目标域所有样本在p种语义表征上的域类别分类差异均值集合,集合的元素如 表示源域或目标域所有样本在第p种语义表征上的域类别分类差异均值;sdmax,ddmax分别表示在域类别分类差异最大化,即 值最大的情况下的域级别语义表征及其方向;Xd‑explained表示基于域类别可解释性语义表征的图像样本特征集合;

步骤3‑2)移除域类别可解释性语义表征,即模糊跨域语义表征,对于图像样本特征集合X,模糊X的跨域语义表征的表达形式如下:X=X\Xd‑explained(17)。

5.根据权利要求4所述的基于语义表征的无监督域适应图像分类方法,其特征在于,步骤4)中,使用生成器分别对有效类别语义表征和模糊后的跨域语义表征进行样本重构,生成新样本表征,并计算重构损失,其表达形式如下:其中, 和 分别表示作用于有效类别语义表征和模糊后的跨域语义表征的生成器,对应模型参数表示为 和 E表示编码器,对应模型参数表示为θE; Lrec分别表示基于 和 得到的重构损失以及整体重构损失。

6.根据权利要求5所述的基于语义表征的无监督域适应图像分类方法,其特征在于,步骤5)中,使用新样本表征,即Hc‑explained和X\Xd‑explained,计算分类损失和对抗损失,并更新相应模型参数,其分类损失表达形式如下:其中,Gy表示分类器,对应模型参数θy,XS,YS分别表示源域样本和标签集合,其中元素表示为(x,y),ns表示源域样本个数,lce表示交叉熵损失函数,X与Xc‑explained表示经过有效类别语义表示提取前后图像样本特征集合,Lcls为分类损失表达形式;对抗损失表达形式如下:其中,Gd表示域判别器,对应模型参数θd,nt,XT分别表示目标域图像样本个数和对应特征表示,Ladv为对抗损失表达形式。