1.一种跨模态信息检索方法,其特征在于,所述方法包括:
获取第一模态信息和第二模态信息;
对所述第一模态信息的模态特征和所述第二模态信息的模态特征进行特征融合,确定所述第一模态信息对应的第一融合特征以及所述第二模态信息对应的第二融合特征;
基于所述第一融合特征和所述第二融合特征,确定所述第一模态信息和所述第二模态信息的相似度。
2.根据权利要求1所述的方法,其特征在于,对所述第一模态信息的模态特征和所述第二模态信息的模态特征进行特征融合,确定所述第一模态信息对应的第一融合特征以及所述第二模态信息对应的第二融合特征,包括:基于所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第一模态信息与所述第二模态信息进行特征融合的融合门限参数;
在所述融合门限参数的作用下,对所述第一模态信息的模态特征和所述第二模态信息的模态特征进行特征融合,确定所述第一模态信息对应的第一融合特征以及所述第二模态信息对应的第二融合特征;其中,所述融合门限参数用于根据特征之间的匹配程度配置于特征融合后的融合特征,其中,特征之间的匹配程度越低,特征融合参数越小。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第一模态信息与所述第二模态信息进行特征融合的融合门限参数,包括:根据所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第一模态信息对于所述第二模态信息关注的第二注意力特征;
根据所述第一模态信息的模态特征和所述第二注意力特征,确定所述第一模态信息对应的第一融合门限参数。
4.根据权利要求3所述的方法,其特征在于,所述第一模态信息包括至少一个信息单元,所述第二模态信息包括至少一个信息单元;所述确定所述第一模态信息对于所述第二模态信息关注的第二注意力特征,包括:获取所述第一模态信息的每个信息单元的第一模态特征;
获取所述第二模态信息的每个信息单元的第二模态特征;
根据所述第一模态特征和所述第二模态特征,确定所述第一模态信息的每个信息单元与所述第二模态信息的每个信息单元之间的注意力权重;
根据所述注意力权重和所述第二模态特征,确定所述第一模态信息的每个信息单元对所述第二模态信息关注的第二注意力特征。
5.根据权利要求2所述的方法,其特征在于,所述基于所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第一模态信息与所述第二模态信息进行特征融合的融合门限参数,包括:根据所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第二模态信息对于所述第一模态信息关注的第一注意力特征;
根据所述第二模态信息的模态特征和所述第一注意力特征,确定所述第二模态信息对应的第二融合门限参数。
6.根据权利要求5所述的方法,其特征在于,所述第一模态信息包括至少一个信息单元,所述第二模态信息包括至少一个信息单元;所述根据所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第二模态信息对于所述第一模态信息关注的第一注意力特征,包括:获取所述第一模态信息的每个信息单元的第一模态特征;
获取所述第二模态信息的每个信息单元的第二模态特征;
根据所述第一模态特征和所述第二模态特征,确定所述第一模态信息的每个信息单元与所述第二模态信息的每个信息单元之间的注意力权重;
根据所述注意力权重和所述第一模态特征,确定所述第二模态信息的每个信息单元对所述第一模态信息关注的第一注意力特征。
7.一种跨模态信息检索装置,其特征在于,所述装置包括:
获取模块,用于获取第一模态信息和第二模态信息;
融合模块,用于对所述第一模态信息的模态特征和所述第二模态信息的模态特征进行特征融合,确定所述第一模态信息对应的第一融合特征以及所述第二模态信息对应的第二融合特征;
确定模块,用于基于所述第一融合特征和所述第二融合特征,确定所述第一模态信息和所述第二模态信息的相似度。
8.根据权利要求7所述的装置,其特征在于,所述融合模块包括:确定子模块,用于基于所述第一模态信息的模态特征和所述第二模态信息的模态特征,确定所述第一模态信息与所述第二模态信息进行特征融合的融合门限参数;
融合子模块,用于在所述融合门限参数的作用下,对所述第一模态信息的模态特征和所述第二模态信息的模态特征进行特征融合,确定所述第一模态信息对应的第一融合特征以及所述第二模态信息对应的第二融合特征;其中,所述融合门限参数用于根据特征之间的匹配程度配置于特征融合后的融合特征,其中,特征之间的匹配程度越低,特征融合参数越小。
9.一种跨模态信息检索装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行存储器存储的可执行指令时,实现权利要求1至6中任意一项所述的方法。
10.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。