1.基于PU学习的多视角广义零样本分类辅助方法,其特征在于,包括以下步骤:获取图片,利用已见类图片构建训练集,利用已见类图片和未见类图片构建测试集,提取训练集和测试集中图片的多视角视觉特征;其中,使用在ImageNet数据库上预先训练的深度卷积神经网络模型GoogLeNet来提取训练集中图片的多视角视觉特征;
构建基准模型,其中基准模型通过一种基于实例的多视角视觉融合转导式零样本分类方法中的多视角视觉‑语义映射模型训练后得到;
构建多视角PU分类模型;
将训练集和测试集中图片对应的多视角视觉特征输入至多视角PU分类模型中,利用交替方向乘子法对多视角PU分类模型进行训练,利用训练之后的多视角PU分类模型对测试样本进行识别,筛选出高置信度的伪未见类图片;
将筛选出的高置信度的伪未见类图片输入至基准模型中,输出相应的第一语义投影,并基于第一语义投影重新设置每个未见类的语义原型;
将训练集中的图片输入至基准模型,得到对应的第二语义投影,并基于第二语义投影重新设置每个已见类的语义原型;
利用基准模型对待识别的图片进行分类;
将多视角PU分类模型表示为问题P,表达式为:问题P:
,
式中, 表示视角序号,m表示视角的总数, , 和 为待优化变量, 表示在第 个视角下多视角PU分类模型的参数, 表示在第 个视角下修正的测试集特征负均值,为松弛变量, 表示训练样本在第 个视角上的视觉特征矩阵, 表示第 个训练样本在第 个视角下的特征向量, 表示一个的实数矩阵空间,其中 是行数,n是列数, 表示训练样本在第 个视角上的视觉特征向量之和, ,表示转置; 表示测试集样本在第 个视角上的视觉特征矩阵, 表示第 个测试图片在第 个视角下的特征向量; 为超参数, 表示F范数; ,是训练样本的先验概率,表示训练样本个数,与上述列数相同, 表示测试样本个数;是测试集中的已见类样本在所有已见类样本中所占的比例;
构建该多视角PU分类模型的约束条件,表示为:,
,
,
其中,第一个约束用于保证视角之间的分类结果满足互补性,第二个约束用于保证多视角PU分类模型的鲁棒性;
式中, 为超参数, 为测试集, 表示通过分组均值中位数估计器得到的估计值; 表示测试集中的图片在第 个视角特征上的协方差矩阵,公式为:;
利用交替方向乘子法对多视角PU分类模型进行训练的步骤包括:步骤41,初始化 ,设置最大迭代次数kmax,令迭代次数 ,确定收敛阈值 , ;
步骤42,构建多视角PU分类模型的增广拉格朗日函数,表达式为:,
构建约束条件:
,
,
其中, 是拉格朗日乘子矩阵,是惩罚参数;
步骤43,固定参数 和 ,仅更新 ,则将多视角PU分类模型表示为子问题p1,表达式为:子问题p1:
,
令子问题p1中梯度为0,对子问题p1进行求解,得到 的更新算式为:,
式中,I表示单位矩阵;
步骤44,固定参数 和 ,仅更新 ,则将多视角PU分类模型表示为子问题p2,表达式为:子问题p2:
,
,
令子问题p2中梯度为0,对子问题p2进行求解,得 的更新算式为: ,
步骤45,固定参数 和 ,仅更新 ,则将多视角PU分类模型表示为子问题p3,表达式为:子问题p3:
,
约束条件:
,
根据对偶理论,通过构造拉格朗日函数并求解对应的对偶问题,得到 更新算式为:,
步骤46,通过下式更新 :
,
步骤47,判断是否满足收敛条件,直至满足收敛条件或者达到最大迭代次数时停止迭代;否则更新迭代次数 ,并返回步骤43;
其中该收敛条件为两次相邻迭代的变化之差小于设定的阈值,表示为:,
,
,
。
2.根据权利要求1所述的基于PU学习的多视角广义零样本分类辅助方法,其特征在于,通过分组均值中位数估计器得到 的估计值的步骤包括:将测试集 分为 组大小相同的样本集,表示为 ;
计算每组样本的均值向量 ;
再计算每组样本的中位数,公式为:,其中 ,
即为第i组到第j组的欧几里得距离 的中位数, 表示中位数;
找到最小中位数距离的组的索引 ,则第 组的均值向量为所求的的估计值 。
3.根据权利要求2所述的基于PU学习的多视角广义零样本分类辅助方法,其特征在于,筛选出高置信度的伪未见类图片的步骤包括:计算测试集图片的置信度 ,计算公式为:,
根据置信度值对所有测试集图片进行升序排列,从排序后的图片样本中筛选出置信度值小于50%分位数的样本,作为高置信度伪未见类图片。
4.根据权利要求3所述的基于PU学习的多视角广义零样本分类辅助方法,其特征在于,并基于第一语义投影重新设置每个未见类的语义原型的步骤包括:步骤51,设置最大迭代次数为 ,初始化迭代次数 为1;
步骤52,计算当前迭代次数下的预测概率向量 ,公式为:,
式中, 是未见类语义原型矩阵; 是部分置信度高的未见类测试样本在基准模型下的语义投影; 和 都是逐元素运算; 返回每列的最大元素的行向量;
返回每列和的行向量;
步骤53,计算当前迭代次数下的未见类测试样本的伪标签 ,公式为:,
其中, 表示返回每列最大元素索引的向量; 是预测的测试集的伪标签向量;
步骤54,计算当前迭代次数下的概率阈值 ,公式为:,
步骤55,根据阈值更新原型 ,公式为:,
其中, 表示返回每行平均值的列向量;
步骤56,对 进行正则化,公式为:,
步骤57,重复步骤52至步骤56,直到达到最大迭代次数时停止迭代,得到校准后的伪未见类语义。
5.根据权利要求4所述的基于PU学习的多视角广义零样本分类辅助方法,其特征在于,利用基准模型对待识别的图片进行分类的步骤包括:将待识别图像输入基准模型中,通过下式计算预测的标签向量: ,
其中, 表示待识别图像的校准后的语义矩阵, 为总样本集在基准模型下的语义投影; 返回每列最大元素索引的向量; 是预测的待识别图像的伪标签向量。
6.基于PU学习的多视角广义零样本分类辅助系统,应用于权利要求1至5任一项所述的基于PU学习的多视角广义零样本分类辅助方法,其特征在于,包括:数据准备模块,用于提取训练图片和测试图片的多视角视觉特征;
模型学习模块,用于将提取的多视角视觉特征送入多视角PU分类模型中,利用交替方向乘子法进行训练;采用建立的多视角PU分类模型对测试样本进行识别,筛选出高置信度的伪未见类图片;
校准模块,用于将筛选出高置信度的伪未见类图片输入至基准模型,利用输出的相应语义投影重新设置每个未见类的语义原型;再将训练集的图片输入基准模型,利用输出的相应语义投影重新设置每个已见类的语义原型;
图片识别模块,用于利用基准模型对待识别的图像进行分类。