利索能及
我要发布
收藏
专利号: 2021112127060
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于近邻图的多模态搜索方法,其特征在于,包括步骤:S1,获取参照数据集,所述参照数据集中包含多个参照对象,每个所述参照对象均包含多种模态数据;每个所述参照对象的模态数据种类相同;

S2,为每个所述模态数据生成对应的特征向量,每个所述参照对象的所有特征向量构成一个参照对象向量;

S3,计算各个所述参照对象间各同种模态数据的特征向量距离;

S4,使用聚集函数将各个所述参照对象中所有特征向量距离融合,得到各个参照对象向量间的融合距离,所述聚集函数中包括不同特征向量的权重;

S5,根据各参照对象向量间的融合距离生成参照对象的近邻图;

S6,根据查询内容生成一个查询对象,所述查询对象包含与所述参照对象相同种类的多种模态数据,为所述查询对象的每个所述模态数据生成对应的特征向量;

S7,使用所述查询对象的各个特征向量在所述近邻图上查询得到最接近的参照对象。

2.如权利要求1所述的一种基于近邻图的多模态搜索方法,其特征在于,所述步骤S3具体为:使用相似度计算得到各个所述参照对象间各同种模态数据的特征向量距离。

3.如权利要求1所述的一种基于近邻图的多模态搜索方法,其特征在于,所述步骤S4中,所述融合距离的计算公式为:;

其中,所述 为参照对象向量e1和e2的第k个特征向量间的距离,所述g(·)为聚集函数。

4.如权利要求3所述的一种基于近邻图的多模态搜索方法,其特征在于,根据场景需求变化调整所述聚集函数g(·)对不同种模态数据的特征向量距离的权重。

5.如权利要求1所述的一种基于近邻图的多模态搜索方法,其特征在于,所述步骤S5具体包括:

S5.1,选取一个对象向量ei,选取与其融合距离最小的C个对象向量作为候选集,设定角度阈值α及连边上限K;

S5.2,从所述候选集中选取一个与ei融合距离最小的对象向量与其连接;

S5.3,以由近到远的顺序依次从所述候选集中选取对象向量ej尝试与所述对象向量ei连边,仅在  和ei的连边与ei的现有所有连边夹角大于α时才能够成功连边,直到所述对象向量ei的连边数量达到所述K或尝试完所述候选集中的全部对象向量;

S5.4,判断是否仍有对象向量没在步骤S5.1中被选取,若是则返回步骤S5.1,若否则完成近邻图G(V, E)的生成,其中V为顶点集,一个顶点代表一个所述对象向量,E为边集。

6.如权利要求1所述的一种基于近邻图的多模态搜索方法,其特征在于,所述步骤S7具体包括:

S7.1,设所述近邻图的顶点集为V,设查询向量为q,选取若干顶点构成查询起始顶点集合B ⊂V;

S7.2,从B中选取与q融合距离最小的未访问顶点x∈V,获取所述x的邻居顶点集N(x) = (y1, y2, …, yl),其中yl为x的第l个邻居顶点,l为x的邻居个数;标记所述x为已访问顶点;

S7.3,计算N(x)中每个邻居顶点与q的融合距离,并用距离q更近的邻居顶点取代B中距离q最远的顶点;

S7.4,判断B中是否存在未被访问过的顶点,若是则返回步骤S7.2,若否则结束查询并返回B作为查询结果,所述B中的顶点即为所述最接近的参照对象;

上述查询过程中查询向量 与对象向量ei的融合距离d(q, ei)为;

其中, 为查询向量q和对象向量ei的第k个特征向量间的距离,f(·)为聚集函数。

7.如权利要求6所述的一种基于近邻图的多模态搜索方法,其特征在于,根据场景需求变化调整所述聚集函数f(·)对不同种模态数据的特征向量距离的权重。