1.一种多视角零样本图像识别方法,其特征在于,包括以下步骤:S1采集待识别图片,并提取所述待识别图片的多视角视觉特征;
S2将所述多视角视觉特征输入预先训练获得的多视角视觉‑语义映射模型,最终得到待识别图片的预测类别语义属性;
S3采用图模型降噪算法将待识别图片在各个视角上的视觉特征空间和预测类别语义属性空间进行流形对齐,进而获得待识别图片最终的类别语义属性;
所述步骤S2中,预先训练获得的多视角视觉‑语义映射模型包括训练阶段,所述训练阶段包括以下步骤:S21获取已见类训练集,已见类训练集包括图片样本的多视角视觉特征和图片样本的类别语义属性;
S22构建多视角视觉‑语义映射模型,将图片样本的多视角视觉特征作为多视角视觉‑语义映射模型的输入,将图片样本的类别语义属性作为多视角视觉‑语义映射模型的输出;
并基于不同视角视觉特征之间的一致性和互补性原则,建立优化问题;
S23使用交替方向乘子法对所述优化问题变量进行更新迭代,直至优化问题的变量在两次连续迭代中的变化量小于定值,进而确定多视角视觉‑语义映射模型中的相关参量,从而获得最终的多视角视觉‑语义映射模型;
所述步骤S2中,预先训练获得的多视角视觉‑语义映射模型还包括测试阶段,所述测试阶段包括以下步骤:S24获取未见类测试集,将所述未见类测试集输入所述最终的多视角视觉‑语义映射模型,获得未见类测试集在各个视角上的预测类别语义属性;
S25利用图模型降噪算法,将未见类测试集在各个视角上的视觉特征空间与未见类测试集的预测类别语义属性空间进行流形对齐,更新未见类测试集在各个视角上的类别语义属性,并将它们的平均值作为未见类测试集最终的类别语义属性;
S26基于未见类测试集最终的类别语义属性和未见类在各个视角上的类别语义属性,确定未见类测试集中每个图片样本最终的预测类别;
S27根据未见类测试集中图片样本的真实类别,统计未见类测试集中图片样本最终的预测类别的正确数量,并计算未见类测试集的类别预测准确率;
S28若未见类测试集的类别预测准确率大于设定的未见类阈值,则判定最终的视觉‑语义映射模型合格,否则,返回到训练阶段;
步骤S22中,构建多视角视觉‑语义映射模型,实现方法为:多视角视觉‑语义映射模型的表达式为:
其中, 分别为图片样本在两个不同视角上的视觉特征, 分别为两个视角的视觉特征的维度, 和 为图片样本的类别语义属性, 和 分别为两个视角的视觉特征空间到各自的潜在子空间的投影矩阵, 和 分别为两个视角的各自的潜在子空间到类别语义属性空间的投影矩阵,T为转置;
基于不同视角视觉特征之间的一致性和互补性原则,建立优化问题,实现步骤包括:S221建立基于类别语义属性空间的相似度模型的损失函数,若图片样本在各个视角上的视觉特征在类别语义属性空间的投影与图片样本对应的类别语义属性的相似度大于设定的阈值 ,则损失值为零;
S222优化问题表示为:
其中,tr(*)为矩阵的迹运算; 为矩阵的F‑范数; 分别为已见类训练集中所有图片样本在两个不同视角上的视觉特征矩阵,n为样本数量,为已见类训练集中的所有图片样本对应的类别语义属性的矩阵,的每一列均为所有已见类的类别语义属性的平均值,的列数为已见类训练集中的图片样本数量;P1和P2分别为两个视角的潜在子空间到各自视觉特征空间的逆投影矩阵;I为单位矩阵; 为损失函数中设定的阈值;
和 分别为两个视角上的松弛变量;β1,β2,C和 为权系数。
2.根据权利要求1所述的多视角零样本图像识别方法,其特征在于,建立所述优化问题,具体原则包括:a)最小化图片样本的损失值;
b)最小化图片样本在不同视角上的视觉特征在类别语义属性空间的投影的差异,从而满足不同视角之间的一致性原则;
c)根据多视角视觉‑语义映射模型在图片样本每个单视角上的拟合表现调节其他视角上的损失值,从而满足不同视角之间的互补性原则;
d)在多视角视觉‑语义映射模型中为每一个视角添加一个潜在子空间。
3.根据权利要求1所述的多视角零样本图像识别方法,其特征在于,所述步骤S23具体包括以下步骤:S231通过引入松弛变量 ,将公式(1)中的不等式约束改写成等价的等式约束:
S232公式(2)的增广拉格朗日函数为:其中,为罚参数; 是拉格朗日乘子;
S233更新矩阵B1,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:采用拉格朗日乘子法求解公式(4),获得关于矩阵B1的西尔维斯特方程:S234更新矩阵B2,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:采用拉格朗日乘子法求解公式(6),获得关于矩阵B2的西尔维斯特方程:S235更新矩阵Q1,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(8),获得关于矩阵Q1的西尔维斯特方程:S236更新矩阵Q2,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(10),获得关于矩阵Q2的西尔维斯特方程:S237更新矩阵P1,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:T T
令 ,通过奇异值分解计算H1X1Q1=U1S1V1 ,U1、S1和V1分别为奇异值分解的矩T阵,得到P1=U1V1;
S238更新矩阵P2,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:T T
令 ,通过奇异值分解计算H2X2Q2=U2S2V2 ,U2、S2和V2分别为奇异值分解的矩T阵,得到P2=U2V2;
S239更新矩阵W1,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(14),获得矩阵W1的表达式:S2310更新矩阵W2,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(16),获得矩阵W2的表达式:S2311更新 ,同时固定其余变量和拉格朗日乘子,求解如下优化问题:最小化公式(18),并考虑到 的非负性,获得 的更新格式:S2312更新 ,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:(20)
最小化公式(20),并考虑到 的非负性,获得 的更新格式: S2313更新 ,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(22),并考虑到 的非负性,获得 的更新格式:S2314更新 ,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(24),并考虑到 的非负性,获得 的更新格式:S2315更新 ,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(26),并考虑到 的非负性,获得 的更新格式:S2316更新 ,同时固定其余变量和拉格朗日乘子,求解如下子优化问题:最小化公式(28),并考虑到 的非负性,获得 的更新格式:S2317固定所有变量,更新各个拉格朗日乘子如下:的数值增加 ,的数值增加 ,的数值增加 , 的数值增加 ,的数值增加 ,的数值增加 ,的数值增加
,的数值增加 ;罚参数 更新为 ,ρ
和μmax为设定的参数;
S2318若各个变量在两次连续迭代中的变化量均分别小于定值,则结束运行,确定多视角视觉‑语义映射模型中的W1,W2和Q1,Q2,获得最终的多视角视觉‑语义映射模型,进入步骤S233。
4.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1‑3任一项所述的方法。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述权利要求1‑3任一项所述的方法。