利索能及
我要发布
收藏
专利号: 2019101099835
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨模态信息检索方法,其特征在于,所述方法包括:获取第一模态信息和第二模态信息;

根据所述第一模态信息的模态特征,确定所述第一模态信息的第一语义特征和第一注意力特征;

根据所述第二模态信息的模态特征,确定所述第二模态信息的第二语义特征和第二注意力特征;

基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第二语义特征,确定所述第一模态信息和所述第二模态信息的相似度。

2.根据权利要求1所述的方法,其特征在于,所述第一语义特征包括第一分语义特征和第一和语义特征;所述第一注意力特征包括第一分注意力特征和第一和注意力特征;

所述第二语义特征包括第二分语义特征和第二和语义特征;所述第二注意力特征包括第二分注意力特征和第一和注意力特征。

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一模态信息的模态特征,确定所述第一模态信息的第一语义特征和第一注意力特征,包括:将所述第一模态信息划分为至少一个信息单元;

在每个信息单元中进行第一模态特征提取,确定每个信息单元的第一模态特征;

基于每个所述信息单元的第一模态特征,提取语义特征空间的第一分语义特征;

基于每个所述信息单元的第一模态特征,提取注意力特征空间的第一分注意力特征。

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:根据每个信息单元的第一分语义特征,确定所述第一模态信息的第一和语义特征;

根据每个信息单元的第一分注意力特征,确定所述第一模态信息的第一和注意力特征。

5.根据权利要求2所述的方法,其特征在于,所述根据所述第二模态信息的模态特征,确定所述第二模态信息的第二语义特征和第二注意力特征,包括:将所述第二模态信息划分为至少一个信息单元;

在每个信息单元中进行第二模态特征提取,确定每个信息单元的第二模态特征;

基于每个所述信息单元的第二模态特征,提取语义特征空间的第二分语义特征;

基于每个所述信息单元的第二模态特征,提取注意力特征空间的第二分注意力特征。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:根据每个信息单元的第二分语义特征,确定所述第二模态信息的第二和语义特征;

根据每个信息单元的第二分注意力特征,确定所述第二模态信息的第二和注意力特征。

7.一种跨模态信息检索装置,其特征在于,所述装置包括:获取模块,用于获取第一模态信息和第二模态信息;

第一确定模块,用于根据所述第一模态信息的模态特征,确定所述第一模态信息的第一语义特征和第一注意力特征;

第二确定模块,用于根据所述第二模态信息的模态特征,确定所述第二模态信息的第二语义特征和第二注意力特征;

相似度确定模块,用于基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第二语义特征,确定所述第一模态信息和所述第二模态信息的相似度。

8.根据权利要求7所述的装置,其特征在于,所述第一语义特征包括第一分语义特征和第一和语义特征;所述第一注意力特征包括第一分注意力特征和第一和注意力特征;

所述第二语义特征包括第二分语义特征和第二和语义特征;所述第二注意力特征包括第二分注意力特征和第一和注意力特征。

9.一种跨模态信息检索装置,其特征在于,包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行存储器存储的可执行指令时,实现权利要求1至6中任意一项所述的方法。

10.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。