利索能及
我要发布
收藏
专利号: 2018103112990
申请人: 武汉科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于半监督的跨媒体特征学习检索方法,包括如下步骤:步骤一:建立多媒体数据库,

步骤二:求取不同媒体类型的投影矩阵;

(2.1)定义目标函数:

投影矩阵

Xap和Xaq表示来自第p个媒体和第q个媒体的具有相同标签的两组媒体对象,Xp表示来自第p个媒体的媒体对象,Hp和Hq表示Xp和Xq的投影矩阵,Yp表示Xp对应的标签信息,F表示Frobenius范数,(2.2)目标函数的优化:

让 表示式(5)中的目标函数,对 进行微分,并设置其值为零,可以得到如下的等式:其中,Rp=Diag(rp)中的rp表示l2,1范数的一个辅助向量,它的第i个成员定义为式(6)可以重写为:通过求解上述线性系统问题,得到一种最小化目标函数(5)的优化方法,这个方法的过程是先初始化Hp为单位矩阵,然后在每一次迭代中,在 已给定的条件下计算在优化的过程中,迭代一直持续直到收敛,(2.3)将多媒体数据的原始特征投影到公共空间,步骤三:进行跨媒体检索;

(3.1)提取用户提交的媒体数据的特征:根据用户提交的数据的媒体类型使用提前训练的模型来提取出该数据的特征,(3.2)将该媒体数据的特征向量 投影到共同空间中,且投影后的特征向量为(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度:跨媒体相似度被定义为边际概率,定义如下:p p p

其中,yi(yj)代表 的标签,p(yi=l|fi)代表fi 属于类别l的概率,p(yi=l|fi)定义如下:其中,Nk(fip)代表在训练集中fip的K近邻,y代表f的标签,σ(z)=(1+exp(-z))-1是Sigmoid函数,投影后的特征向量与共同空间中的其他向量之间的相似度计算完成后,用排序函数按相似度值降序排序,并对该结果进行保存,(3.4)返回相似度最大的前k个媒体数据。

2.如权利要求1所述的基于半监督的跨媒体特征学习检索方法,其特征在于:步骤一中包括:

步骤1.1收集多媒体原始数据,步骤1.2提取多媒体数据的特征。

3.如权利要求1所述的基于半监督的跨媒体特征学习检索方法,其特征在于:得到目标函数的过程如下:

定义图的权重矩阵:

其中,fip,p=1,2,...,S表示在公共空间内 的投影对象, 是fip和 的欧几里德距离, Nk(fip)表示fip的k个最近邻的集合,为了表示投影特征向量f的平滑度,使用平滑函数Ω(H1,...,HS),平滑函数惩罚两个对象间的投影函数的大的变化,基于多模态图,定义平滑函数为:其中, 是所有模态的总样本的数目, 代表公共空间中所有模态的投影数据,L=D-W是拉普拉斯矩阵,基于上述定义,方程(3)可以转化为:综上,得到目标函数(5)如下:

4.如权利要求1所述的基于半监督的跨媒体特征学习检索方法,其特征在于:步骤(2.2)中,优化方法的步骤如下:输入:

含有标签和无标签数据的矩阵

含有标签数据的矩阵

标签矩阵Y∈RN×c

输出:

投影矩阵

过程:

初始化 为单位矩阵,并设置t=0;

重复:

1.根据 计算图拉普拉斯矩阵Lt;

2.计算与 相一致的对角矩阵

3.通过解决式(7)中的线性系统问题,我们根据下面的等式更新

5.如权利要求1所述的基于半监督的跨媒体特征学习检索方法,其特征在于:步骤3.4中:根据已求得的按降序排序的相似度结果,通过原始数据和投影数据的关系,返回前k个原始数据的值给用户。