1.基于语义约束矩阵分解哈希的跨模态检索方法,其特征在于包括:输入不同模态的原始特征矩阵,根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵;
所述个体矩阵分解模型为:;
其中, 为潜在语义表示矩阵,是正则化参数;
再利用语义相似矩阵约束两个模态潜在语义矩阵,以及根据潜在语义矩阵和正交旋转矩阵生成哈希码;
所述利用语义相似矩阵约束两个模态潜在语义矩阵具体采用如下步骤实现:(1)图像模态和文本模态之间的标签一致性建模,然后给不同模态定义两个数据 和的语义相似度量,通过语义相似度量建立语义相似矩阵A;
所述语义相似度量为:
;
其中, 为语义相似矩阵A内的值, 为不同模态的原始特征矩阵内的值;
(2)对不同模态之间的联系进行建模,使用语义相似矩阵A来约束不同模态的特定于模态的表示形式;
;
其中, 为语义相似矩阵, 是正则化参数, 为不同模态的潜在语义矩阵;
根据潜在语义矩阵和正交旋转矩阵生成哈希码是指采用如下步骤:(1)通过哈希码函数模型将图像和文本原始特征映射到潜在语义矩阵,所述哈希码函数模型为:;
其中, 是图像和文本模态的哈希函数,是正则化参数, 为潜在语义表示矩阵, ;
(2)从潜在语义表示引入正交旋转矩阵R来生成哈希码,所述哈希码矩阵为:;
;
其中, , 为潜在语义表示矩阵,B为哈希码矩阵;
最后利用潜在语音矩阵从所述哈希码中获取类标签;
利用潜在语音矩阵从所述哈希码B中获取类标签Y,即将B映射到类标签Y中,具体模型如下;
;
其中 为映射矩阵,B为哈希码矩阵, 表示第j个数据点包含第i个数据点的语义,否则 ,Y为类标签,和 是正则化参数;
所述检索模型为:
;
;
其中,
;
为潜在语义表示矩阵,B为哈希码矩阵, 为语义相似矩阵, 为不同模态的原始特征矩阵, 是图像和文本模态的哈希函数, 为映射矩阵,是正则化参数,Y为类标签。
2.一种执行权利要求1所述的基于语义约束矩阵分解哈希的跨模态检索方法的检索系统,其特征在于:包括个体矩阵分解模块、标签约束模块、学习哈希函数模块、标签保存模块和学习哈希码模块;
所述个体矩阵分解模块用于分解图片和文本模态得到潜在语义矩阵;
所述标签约束模块用于利用语义相似矩阵约束所述潜在语义矩阵,加强不同模态潜在语义矩阵之间的一致性;
所述学习哈希函数模块用于图片和文本模态的原始特征矩阵线性投影至所述潜在语义矩阵中生成所述哈希码矩阵;
所述标签保存模块用于从哈希码矩阵获取不同模态的类标签。