利索能及
我要发布
收藏
专利号: 2022102591617
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于原型网络的深度领域自适应图像分类方法,其特征在于,包括以下步骤:步骤1,对包括源域数据 和目标域数据 的数据集进行扩充;

步骤2、建立共享特征提取器 ,采用预训练好的共享特征提取器 分别对扩充的源域数据 和目标域数据 提取特征,得到特征向量 和 ;

步骤3、构建第一非线性投影器、第一分类器,将特征向量 、 输入至第一非线性投影器后再经第一分类器,得到分类损失函数 ;

步骤4,构建并训练嵌入模块,将特征向量 和 分别输入至嵌入模块得嵌入特征 和 和域混淆的损失函数 ;

步骤5定义原型网络,将嵌入模块得到中得到 和 输入原型网络中,对原型网络进行训练得到原型损失函数 、 ,对损失函数 、 、 进行加权叠加得到总损失函数用于反向训练网络模型;

步骤6,采用训练好的原型网络对待分类图像进行分类;

所述步骤3包括:

步骤3.1,第一非线性投影器 中包括依次连接的全连接层、ReLU激活函数层、全连接层,将特征向量 和 输入至第一非线性投影器 中得到特征向量 和;

步骤3.2,将特征向量 和 入至第一分类器 中得到关于源域和目标域各自的分类预测结果 和 ;

步骤3.3,定义领域判别器 ,领域判别器 包括依次连接的三层全连接层,定义在关于源域数据分布 目标域数据分布 的领域判别器 、特征提取器 和第一分类器上的分类损失 ,该损失函数形式化定义为:(1)

上式中, 、 分别代表源域第 个样本 经过第一非线性投影、分类器后得到的特征向量, 、 分别代表目标域第 个样本 经过第一非线性投影、分类器后得到的特征向量,设 ,定义 ,式中 表示 和 的外积运算,用于融合第一非线性投影层和第一分类器层的输出,则学习领域独有特征表示的损失函数进一步定义为:(2)

采用损失函数 ,对共享特征提取器、第一非线性投影器、第一分类器进行反向训练;

所述步骤4包括:

步骤4.1,嵌入模块包括自编码器,自编码器以 、 为输入,输出对应的降维重构向量,在自编码器中加入注意力机制作为强制约束,注意力机制包括全连接层,其中注意力机制采用注意力分数 用于删除任何域特定信息;

将特征向量 、 输入嵌入模块最终输出嵌入向量 和 ;

步骤4.2,将嵌入向量 和 输入至第二非线性投影器得到 和;再经过第二分类器 中得到对应源域和目标域各自的分类预测结果 和;

步骤4.3、定义在源域数据分布 目标域数据分布 的嵌入模块 和第二分类器 上的域对抗损失 ,该损失函数形式化定义为:(3)

上式中, 、 分别代表源域第 个样本 经过第二非线性投影、分类器后得到的特征向量, 、 分别代表目标域第 个样本经过 第二非线性投影、分类器后得到的特征向量,设 ,定义 ,式中 仍表示 和 的外积运算,则域对抗损失 等价为:

(4)

步骤4.4、虽然经过嵌入模块后源域、目标域数据尽可能的实现域混淆,但不同样本域混淆的困难程度不同,网络模型对不同的样本应保持一致性,故引入广义熵指数:(5)

上式中, 代表每批次训练中的样本个数, 代表着第 个样本的对应的损失函数值,代表着一批次样本的平均损失函数值,令 ,计算每批次源域、目标域数据对应的广义熵指数并记为 和 ,则最终通过域对抗以实现域混淆的损失函数定义为:(6)

采用损失函数 对嵌入模块、第二非线性投影器、第二分类器进行反向训练。

2.如权利要求1所述的基于原型网络的深度领域自适应图像分类方法,其特征在于,所述步骤1具体包括将源域、目标域数据集分批次输入到随机数据增广网络中,随机数据增广网络对原始的源域以及目标域数据集样本旋转、裁剪和加入高斯白噪声变换后恢复至原始输入大小,形成新的样本加入至原始数据集中,从而扩充数据集。

3.如权利要求1所述的基于原型网络的深度领域自适应图像分类方法,其特征在于,所述步骤2中共享的特征提取器  采用预训练的VGG16深度卷积网络。

4.如权利要求1所述的基于原型网络的深度领域自适应图像分类方法,其特征在于,所述步骤5包括:步骤5.1,对嵌入向量 、 ,对于每一个类别,取其各自的特征向量的均值作为类别原型 ,上式中, 表示类别为 的样本集合,所有的类别原型组成原型网络;

步骤5.2、通过距离函数 计算测试样本 对应的特征向量与各个类别原型之间的平方欧式距离,并利用Softmax函数将其转化为概率值,预测该样本的类别概率:(8)

步骤5.3、利用步骤5.2的类别预测规则,对于源域数据中支持集样本 ,其对应的真实类别标签是 ,基于负对数似然定义源域每轮次上的原型损失函数为:(9)

同样对于目标域数据中支持集样本 ,其对应的真实类别标签是 ,基于负对数似然定义目标域每轮次上的原型损失函数为:(10)

步骤5.4、利用步骤3.3、4.4得到的域混淆的损失函数 、 和步骤5.4到的原型损失函数 、 ,定义总损失函数,通过反向训练网络模型参数,总损失定义为:(11)

上式中 代表学习率超参数,设置为5 10。

~