利索能及
我要发布
收藏
专利号: 202311690560X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于边界互信息的跨模态哈希检索方法,其特征在于,所述方法包括以下步骤:步骤1:构建特征学习网络和哈希学习网络,特征学习网络和哈希学习网络均由多层全连接层组成的生成对抗网络构成,过程如下:步骤1.1:构建特征学习网络,特征学习网络由两个生成网络和一个判别网络构成;

步骤1.2:构建哈希学习网络,哈希学习网络由两个生成网络和一个判别网络构成,步骤2:构建哈希函数与量化损失,过程如下:步骤2.1:对哈希学习网络的最后输出作符号运算;

步骤2.2:哈希函数的定义是特征空间到汉明空间的映射函数,由哈希函数的定义构建哈希函数;

步骤2.3:构建量化损失,量化损失由离散损失组成,并添加正交约束以减小哈希码的信息冗余;

步骤3:相似性保持损失构建,由排序余弦三元损失、边界互信息损失组成;

步骤4:目标函数优化,运用交替优化的方法对网络参数和哈希码进行更新,过程如下:步骤4.1:固定哈希码,运用反向传播算法对网络参数优化;

步骤4.2:固定网络参数,运用交替方向乘子法对哈希码进行优化;

步骤5:网络训练和哈希函数学习,过程如下:

步骤5.1:将数据集划分为查询集Q与待查集P,并取待查集P的一部分作为训练集T;

步骤5.2:使用VGG网络提取图像的深度特征,使用词袋模型得到文本的表征向量;

步骤5.3:将训练集的图像深度特征,文本表征向量和标签信息输入;

步骤5.4:随机初始化网络参数;

步骤5.5:按步骤4从步骤4.1到4.2依次迭代优化直至收敛;

步骤5.6:根据步骤2.2构建的哈希函数,将最优的网络参数带入,得到哈希函数;

步骤6:图文检索与精度测试。

2.如权利要求1所述的一种基于边界互信息的跨模态哈希检索方法,其特征在于,所述步骤6的过程如下:步骤6.1:将查询集Q与待查集P输入训练好的特征学习网络和哈希函数,分别得到查询集Q中的图像文本的哈希码Q+,Q‑,待查集P中的图像文本的哈希码P+,P‑;

步骤6.2:图像检索文本,计算查询集Q中每一张图像的哈希码Q+与待查集P中所有文本的哈希码P‑之间的汉明距离,并按照汉明距离从小到大进行排序作为检索结果;

步骤6.3:文本检索图像,计算查询集Q中每一个文本的哈希码Q‑与待查集P中所有图像的哈希码P+之间的汉明距离,并按照汉明距离从小到大进行排序作为检索结果;

步骤6.4:比较查询图像或文本标签和检索文本或图像对应的标签,根据信息检索中的评价准则计算所有查询图像或文本的平均准确率,输出计算结果。

3.如权利要求1或2所述的一种基于边界互信息的跨模态哈希检索方法,其特征在于,所述步骤1.1的过程如下:步骤1.1.1:构建由三层全连接层组成的判别网络,ReLU作为每层激活函数;

步骤1.1.2:图像模态上,构建由三层全连接层组成的生成网络,ReLU作为每层激活函数;

步骤1.1.3:文本模态上,构建由三层全连接层组成的生成网络,ReLU作为每层激活函数;

步骤1.1.4:特征学习部分对抗学习,构建特征学习网络的对抗损失,即交叉熵损失。

4.如权利要求1或2所述的一种基于边界互信息的跨模态哈希检索方法,其特征在于,所述步骤1.2的过程如下:步骤1.2.1:构建两层全连接层的判别网络,ReLU作为每层激活函数;

步骤1.2.2:图像模态上,构建单层全连接层的生成网络,tanh函数作为激活函数;

步骤1.2.3:文本模态上,构建单层全连接层的生成网络,tanh函数作为激活函数;

步骤1.2.4:哈希学习部分对抗学习,构建哈希学习网络的对抗损失,即交叉熵损失。