1.一种基于语义相关多模态映射方法的零样本图像分类方法,其特征在于,首先输入如下信息:训练数据的视觉特征矩阵X={x1,x2,...,xn},其中n为训练数据样本数;训练数据的辅助信息矩阵Y={y1,y2,...,ym},其中m为训练数据类别数;权重参数α,公共映射空间E的维数d;待测试数据的视觉特征x′,以及测试数据的辅助信息矩阵Y′={y′1,y′2,...,y′t},其中t是测试数据类别数,然后,进行如下步骤:
1)计算训练数据中每两个类别之间的语义相似度 其中i,j=1,
2,...,m,yi为训练数据第i类的辅助信息,yj为训练数据第j类的辅助信息,σ为可调节的参数;
2)构建矩阵 其中 ti是训练数据中第i类的图
像样本个数,i,j=1,2,...,m;
3)由步骤2)中的矩阵A构造矩阵
4)在训练数据的每个类别中,计算每两个图像在视觉空间中的距离之和 其中ti是训练数据中第i类的图像样本个数;
5)构造矩阵D=diag{H1,...,Hm},其中Hi=Di-Si,
6)利用如下公式分别计算本征矢量P=[p1,...,pd]和Q=[q1,...,qd],将P和Q作变换矩阵,
其中,α为权重参数,λ、μ为求得的特征值;
7)对于测试数据的图像特征x′利用PTx′计算从视觉空间映射到公共空间的映射矢量,利用QTy′j计算从辅助信息空间映射到公共空间的映射矢量,j=1,2,...,m;
8)在公共空间中,找到与PTx′距离最近的QTy′j,所述的QTy′j所对应的类别j就是所要求的测试数据的分类结果。
2.根据权利要求1所述的一种基于语义相关多模态映射方法的零样本图像分类方法,其特征在于,步骤6)给出的计算本征矢量P=[p1,...,pd]和Q=[q1,...,qd]的公式是根据目标函数公式:
获得,
其中,P和Q是变换矩阵,分别将视觉特征和辅助信息矩阵映射到一个共享的公共映射空间; 表示类别i和类别j的语义相似度,两个类别越相似,它们的语义特征就会越接近,aij值也就越接近于1,其中σ是一个常数, 用来度量 和 之间的视觉相似性,α是权重参数,用来平衡目标函数公式中 和的重要程度。