1.基于语义迁移的弱监督深度哈希社交图像检索方法,其特征是,包括:获取待检索的社交图像,以及获取社交图像的图像标签,构造包含图像标签的图像数据库,并划分为训练集、测试集和数据库集;
构建深度哈希模型并进行网络参数初始化;
将训练集输入到所构建的深度哈希网络中,获取图像特征 沿着网络继续传输,得到Φ(xi;Θ),其中 表示特征表示部分的网络参数,Θ表示整个深度哈希网络的参数,xi表示训练集中第i个样本;
根据训练集的图像特征、图像标签和深度哈希网络的输出Φ(xi;Θ),分别构建图像视觉相似性保存、直接语义迁移和间接语义迁移的损失函数,以及深度哈希网络的量化损失函数,整合得到整体的目标函数;
求解目标函数,利用反向传播和随机梯度下降算法更新网络参数,直至达到迭代次数,从而得到哈希函数;
利用哈希函数获取测试集和数据库集中社交图像的哈希码,计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离,数据库集样本按其对应的汉明距离升序排序,得到检索结果。
2.如权利要求1所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述直接语义迁移的损失函数为:
引入语义迁移矩阵P=[p1,…,pr]∈Rc×r,用于将哈希码与图像标签进行关联,通过最小化哈希码与图像标签的映射向量之间的差异学习语义迁移矩阵P:其中,Z=[z1,…,zn]∈Rr×n是哈希码,r是哈希码的长度,n是训练集样本点的个数,zi表示第i个样本xi的哈希码,Y=[y1,…,yn]∈Rc×n是标签矩阵,每个样本xi有c个图像标签,表示为yi∈Rc,如果xi与标签j关联,则yji=1,否则yji=0,pk∈Rc×1表示第k位哈希码的语义相关向量。
3.如权利要求2所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述图像视觉相似性保存的损失函数为:
其中,In为n×n的单位矩阵,V∈Rn×m是锚点图矩阵,表示训练集中的n个样本跟m个锚点之间的相似性,Λ=diag(VT1)∈Rm×m,diag(·)用于构建对角矩阵,1表示元素全为1的矩阵。
4.如权利要求3所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述间接语义迁移的损失函数:
构造图像-概念超图间接传递图像的语义关联,将图像标签中的语义迁移到哈希码中。
合并特征矩阵X=[x1,…,xn]∈Rd×n和标签矩阵Y=[y1,…,yn]∈Rc×n,利用迭代求解的聚类分析算法对合成后的矩阵进行概念探测,将图像定义为顶点,将概念定义为超边,构建图像-概念超图,属于相同超边的图像对应哈希码之间的最小汉明距离为:其中,LH表示图像-概念超图H对应的拉普拉斯矩阵,
其中,d是图像特征的维度,H∈Rn×a是图像-概念超图矩阵,a表示探测到的概念的个数,Dv,Dw,De分别是超图H中顶点的度、超边的度和超边权重所对应的对角矩阵。
5.如权利要求4所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述深度哈希网络的量化损失函数为:
6.如权利要求5所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述整合得到整体的目标函数为:
其中,α,β和γ是各项的权重参数,用于调节各项在统一学习框架中的重要性。
7.如权利要求1所述的基于语义迁移的弱监督深度哈希社交图像检索方法,其特征在于,所述求解目标函数,利用反向传播和随机梯度下降算法更新网络参数,直至达到迭代次数,从而得到哈希函数具体为:T
基于增广拉格朗日乘数法的高效离散优化算法,引入辅助变量A=Z-PY,B=Z,采用迭代优化方法进行求解,求得辅助变量A、B、语义迁移矩阵P和哈希码Z,将哈希码Z带入整体的目标函数中,利用反向传播和随机梯度下降算法更新网络参数。
8.基于语义迁移的弱监督深度哈希社交图像检索系统,其特征在于,图像预处理模块,获取待检索的社交图像,以及获取社交图像的图像标签,构造包含图像标签的图像数据库,并划分为训练集、测试集和数据库集;
网络模型构建模块,构建深度哈希模型并进行网络参数初始化;
特征获取模块,将训练集输入到所构建的深度哈希网络中,获取图像特征沿着网络继续传输,得到Φ(xi;Θ),其中 表示特征表示部分的网络参数,Θ表示整个深度哈希网络的参数,xi表示训练集中第i个样本;
目标函数构建模块,根据训练集的图像特征、图像标签和深度哈希网络的输出Φ(xi;
Θ),分别构建图像视觉相似性保存、直接语义迁移和间接语义迁移的损失函数,以及深度哈希网络的量化损失函数,整合得到整体的目标函数;
哈希函数学习模块,求解目标函数,利用反向传播和随机梯度下降算法更新网络参数,直至达到迭代次数,从而得到哈希函数;
检索模块,利用哈希函数获取测试集和数据库集中社交图像的哈希码,计算每个测试集样本的哈希码与数据库集样本的哈希码之间的汉明距离,数据库集样本按其对应的汉明距离升序排序,得到检索结果。