利索能及
我要发布
收藏
专利号: 2024114534864
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于概念向量学习的动态跨模态哈希检索方法,其特征在于,所述方法包括以下步骤:获取当前多模态数据的当前标签信息和历史多模态数据的历史标签信息;

基于所述当前标签信息和哈达玛矩阵,构建概念向量矩阵;其中,所述概念向量矩阵中的概念向量用于表征相同标签的样本具有相同且不变的向量;

基于所述当前标签信息和所述历史标签信息,构建数据相似度矩阵;所述数据相似度矩阵包括第一成对相似度矩阵和第二成对相似度矩阵,所述第一成对相似度矩阵为所述当前多模态数据中各个样本之间的成对相似度矩阵,所述第二成对相似度矩阵为所述当前多模态数据和所述历史多模态数据中各个样本之间的成对相似度矩阵,其中,所述第一成对相似度矩阵由当前标签矩阵构成,所述第二成对相似度矩阵由所述当前标签矩阵和历史标签矩阵构成,所述当前标签矩阵为所述当前多模态数据对应的标签矩阵,所述历史标签矩阵为所述历史多模态数据对应的标签矩阵,所述历史标签矩阵和所述当前标签矩阵的维度均由当前时刻的类别数量决定,所述历史标签矩阵和所述当前标签矩阵均设置有维度拓展机制;

基于所述概念向量矩阵和所述数据相似度矩阵进行哈希码学习,得到目标哈希码,并将所述目标哈希码存储于数据库;

基于所述目标哈希码进行哈希函数学习,得到当前哈希函数,并根据所述当前哈希函数动态更新历史哈希函数以得到目标哈希函数;

根据所述目标哈希函数对待查询数据进行分析,得到所述待查询数据对应的待查询哈希码;

将所述待查询哈希码与所述数据库中的目标哈希码进行相似度计算,得到目标检索结果;

所述基于所述当前标签信息和哈达玛矩阵,构建概念向量矩阵,包括:

基于所述当前标签信息,将所述哈达玛矩阵的列向量作为原型码分配给所述当前多模态数据中的若干当前类别数据;

基于各个所述当前类别数据中当前样本数据对应的当前样本标签信息,在概念空间中生成与各个所述当前样本标签信息对应的概念向量;

基于各个所述概念向量构建所述概念向量矩阵。

2.根据权利要求1所述的方法,其特征在于,所述基于各个所述当前类别数据中当前样本数据对应的当前样本标签信息,在概念空间中生成与各个所述当前样本标签信息对应的概念向量,包括:基于各个所述当前类别数据中所述当前样本数据对应的所述当前样本标签信息,通过概念向量计算公式在所述概念空间中生成与各个所述当前样本标签信息对应的所述概念向量;所述概念向量计算公式为:其中, 表示为概念向量, 表示为第 个样本数据对应的原型码数量, 表示为第 个样本数据的第 个原型码,表示为样本数据的序号,表示为原型码的序号。

3.根据权利要求1所述的方法,其特征在于,所述基于所述当前标签信息和所述历史标签信息,构建数据相似度矩阵,包括:基于所述当前标签信息,计算所述当前多模态数据中当前样本数据间的第一相似度信息,并根据所述第一相似度信息构建所述第一成对相似度矩阵;

基于所述当前标签信息和所述历史标签信息,计算所述当前多模态数据中的所述当前样本数据和所述历史多模态数据中的历史样本数据之间的第二相似度信息,并根据所述第二相似度信息构建所述第二成对相似度矩阵。

4.根据权利要求1所述的方法,其特征在于,所述基于所述概念向量矩阵和所述数据相似度矩阵进行哈希码学习,得到目标哈希码,并将所述目标哈希码存储于数据库,包括:基于所述概念向量矩阵和所述数据相似度矩阵构建目标优化函数;

初始化当前哈希码;

通过所述目标优化函数对所述当前哈希码进行交替优化,得到所述目标哈希码;

将所述目标哈希码存储于所述数据库。

5.根据权利要求1所述的方法,其特征在于,所述基于所述目标哈希码进行哈希函数学习,得到当前哈希函数,并根据所述当前哈希函数动态更新历史哈希函数以得到目标哈希函数,包括:基于所述目标哈希码、所述当前多模态数据和所述历史多模态数据,利用线性回归方法进行哈希函数学习,得到所述当前哈希函数;

根据所述当前哈希函数动态更新所述历史哈希函数以得到所述目标哈希函数。

6.根据权利要求1所述的方法,其特征在于,所述将所述待查询哈希码与所述数据库中的目标哈希码进行相似度计算,得到目标检索结果,包括:计算所述待查询哈希码和所述数据库中的目标哈希码之间的汉明距离,得到相似度计算结果;

根据所述相似度计算结果和预设检索规则,得到所述目标检索结果。

7.基于概念向量学习的动态跨模态哈希检索系统,其特征在于,所述系统包括以下模块:数据获取模块,用于获取当前多模态数据的当前标签信息和历史多模态数据的历史标签信息;

概念向量矩阵构建模块,用于基于所述当前标签信息和哈达玛矩阵,构建概念向量矩阵;其中,所述概念向量矩阵中的概念向量用于表征相同标签的样本具有相同且不变的向量;

相似度矩阵构建模块,用于基于所述当前标签信息和所述历史标签信息,构建数据相似度矩阵;所述数据相似度矩阵包括第一成对相似度矩阵和第二成对相似度矩阵,所述第一成对相似度矩阵为所述当前多模态数据中各个样本之间的成对相似度矩阵,所述第二成对相似度矩阵为所述当前多模态数据和所述历史多模态数据中各个样本之间的成对相似度矩阵,其中,所述第一成对相似度矩阵由当前标签矩阵构成,所述第二成对相似度矩阵由所述当前标签矩阵和历史标签矩阵构成,所述当前标签矩阵为所述当前多模态数据对应的标签矩阵,所述历史标签矩阵为所述历史多模态数据对应的标签矩阵,所述历史标签矩阵和所述当前标签矩阵的维度均由当前时刻的类别数量决定,所述历史标签矩阵和所述当前标签矩阵均设置有维度拓展机制;

哈希码学习模块,用于基于所述概念向量矩阵和所述数据相似度矩阵进行哈希码学习,得到目标哈希码,并将所述目标哈希码存储于数据库;

哈希函数学习模块,用于基于所述目标哈希码进行,得到当前哈希函数,并根据所述当前哈希函数动态更新历史哈希函数以得到目标哈希函数;

哈希码分析模块,用于根据所述目标哈希函数对待查询数据进行分析,得到所述待查询数据对应的待查询哈希码;

哈希检索模块,用于将所述待查询哈希码与所述数据库中的目标哈希码进行相似度计算,得到目标检索结果;

所述概念向量矩阵构建模块,具体用于:

基于所述当前标签信息,将所述哈达玛矩阵的列向量作为原型码分配给所述当前多模态数据中的若干当前类别数据;

基于各个所述当前类别数据中当前样本数据对应的当前样本标签信息,在概念空间中生成与各个所述当前样本标签信息对应的概念向量;

基于各个所述概念向量构建所述概念向量矩阵。

8.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。