利索能及
我要发布
收藏
专利号: 2021114481026
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于三元组网络的深度哈希图像检索方法,其特征在于,具体按照如下步骤实施:步骤1,采用并列的三个Alexnet网络模型为CNN网络模型,并在每个Alexnet网络模型的倒数第二个全连接层fc7层后添加隐藏层,即就是添加哈希层,且三个Alexnet网络模型之间共享权重参数;

步骤2,选用图像数据集CIFAR‑10,将其划分为训练集和测试集,以训练集图像作为步骤1构建的CNN网络模型的输入图像,每个输入图像均为一个三元组图像,包括锚点图像、正样本图像和负样本图像,其中正样本图像和锚点图像为同一类别,负样本图像与锚点图像为不同类别;

步骤3,将每个输入图像的锚点图像、正样本图像和负样本图像分别输入至一个Alexnet网络模型中,锚点图像、正样本图像和负样本图像分别在输出fc7层和哈希层产生一个输出fc7层的深度特征和一个代表图像特征的初步哈希码;

步骤4,为CNN网络模型引入一个三元组损失函数,使用步骤3生成的初步哈希码通过最小化三元组损失函数,使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离,完成对CNN网络模型的优化;

步骤5,将测试集图像与查询图像输入到步骤4优化的CNN网络模型中对应输入锚点图像的Alexnet网络模型中,得到对应的哈希编码和fc7层深度特征,其中测试图像和查询图像均为锚点图像,计算查询图像与测试集图像对应的二进制哈希编码的汉明距离,根据设定的阈值,如果汉明距离小于阈值,则认为查询图像与测试集图像相似,在测试集图像中得到m个最相似的候选图像集,然后计算查询图像向量与候选集图像的深度特征向量的欧式距离,按照从小到大排序获得最终的检索结果,在候选图像集中找到n个最相似的图像,即就是查询图像最相似n图像。

2.根据权利要求1所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,所述图像数据集CIFAR‑10共60000张,训练集分10类,每类5000张,测试集分10类,每类1000张。

3.根据权利要求1所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,所述步骤4中的使得锚点图像、正样本图像在特征空间的距离小于锚点图像和负样本图像在特征空间的距离,即就是:+ ‑

S(xi,xi)<S(xi,xi)              (2)等价于

2 + 2 ‑

S(xi,xi)<S(xi,xi)                 (3)+ ‑

其中,xi为锚点图像,xi 为正样本图像,即与xi同一类别的样本图像,xi为负样本图像,+即与xi不同样类别的样本图像,S(x,x`)表示两张图像x和x`的相似性,即就是S(xi,xi)为‑锚点图像和正样本图像的相似性,S(xi,xi)锚点图像和负样本图像的相似性,根据此将三元组损失函数定义如下:+ ‑ 2 + 2 ‑

loss(xi,xi ,xi)=max{0,g+S(xi,xi)‑S(xi,xi)}     (4)+ ‑

式中,loss(xi,xi ,xi)代表三元组损失函数,其中,g为度量同类别图像对与不同类别图像对之间距离的阈值参数。

4.根据权利要求3所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,g=‑1。

5.根据权利要求3所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,所述对CNN网络模型的优化,即就是对三元组损失函数的优化,具体过程为:+ ‑

记训练集X={Xi},其中{Xi}=(xi,xi ,xi),则将三元组损失函数的优化转化为以下目标函数L的最小化问题,即就是:其中,W为神经网络参数,λ为提高网络模型泛化能力而引入的正则化系数,n为训练集中三元组的数目;

引入函数d(W,Xi)表示三元组中锚点图像、正样本图像与锚点图像、负样本图像图像对之间的距离,即

2 + 2 ‑

d(W,Xi)=S(xi,xi)‑S(xi,xi)          (6)则目标函数进一步写成:

为优化该目标函数,使其最小,目标函数的偏导数为:

通过d(W,Xi)的定义可以得到d(W,Xi)的梯度如下:由此可以看出,将三元组图像输入到网络中,进行前向和反向计算即可得到三元组损失函数的梯度,然后使用梯度下降算法即可得到优化的目标函数,从而优化三元组损失函数,得到最优的CNN网络模型。

6.根据权利要求4所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,所述步骤5中计算查询图像与测试集图像对应的二进制哈希编码的汉明距离具体为:首先给定测试集中的图像I,将查询图像I输入到步骤5优化后的CNN网络模型中,提取隐藏层,即就是哈希层的输出作为图像特征,记为Out(H),通过设定阈值进行二值化,得到对应的二进制哈希码,即对于每一位j=1...h,h是隐藏层的节点数,输出的二进制编码为设定Γ={I1,I2,...,In}表述用于检索的图像构成的测试集,In表示第n个测试集图像,h每个图像对应的二进制编码表示为ΓH={H1,H2,...,Hn},其中Hi∈{0,1};

对于查询图像Iq和其对应的二进制编码Hq,计算Hq和Hi的汉明距离,如果Hq和Hi∈ΓH汉明距离小于阈值,则认为是相似图像,根据阈值设定最终得到有m张相似图片的候选图像集,得到对应的候选图像集

7.根据权利要求6所述的一种基于三元组网络的深度哈希图像检索方法,其特征在于,所述步骤5中计算查询图像向量与候选集图像的深度特征向量的欧式距离具体为:P

对于查询图像Iq和候选图像集P,Vq代表查询图像q的特征向量,Vi表示候选集图像中第i个图像的特征向量,通过下式计算它们对应的特征向量之间的欧氏距离:P

si=||Vq‑Vi|| (12)

欧氏距离越小,两幅图像的相似度越高,最终在候选图像集中根据欧氏距离由小到大的排序得到n个最相似的结果图像,n<m。