利索能及
我要发布
收藏
专利号: 2018107289133
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像匹配方法,其特征在于,包括:获取第一图像的特征数据;

将所述第一图像的特征数据输入到特征生成网络进行处理,得到M组目标特征数据,所述M为大于或等于2的整数,所述第一图像包含的信息量少于第二图像包含的信息量,所述目标特征数据的维度大于所述第一图像的特征数据的维度;所述特征生成网络是与判别网络通过对抗方式训练得到的,所述判别网络用于区分输入的特征数据所属的模态,所述模态包括强模态或弱模态,所述强模态对应的图像包括的信息量多于所述弱模态对应的图像包括的信息量;

基于所述M组目标特征数据,从至少两个第二图像中确定与所述第一图像匹配的目标图像。

2.根据权利要求1所述的方法,其特征在于,所述基于所述M组目标特征数据,从至少两个第二图像中确定与所述第一图像匹配的目标图像,包括:基于所述M组目标特征数据,确定所述第一图像与所述至少两个第二图像中每个第二图像的相似度;

基于所述第一图像与所述至少两个第二图像中每个第二图像的相似度,从所述至少两个第二图像中确定与所述第一图像匹配的目标图像。

3.根据权利要求2所述的方法,其特征在于,所述基于所述M组目标特征数据,确定所述第一图像与所述至少两个第二图像中每个第二图像的相似度,包括:获取所述至少两个第二图像中每个第二图像的特征数据;

基于所述M组目标特征数据与所述至少两个第二图像中每个第二图像的特征数据,得到所述每个第二图像对应的M个相似度;

根据所述至少两个第二图像中每个第二图像对应的M个相似度,确定所述第一图像与所述每个第二图像的相似度。

4.根据权利要求3所述的方法,其特征在于,所述根据所述至少两个第二图像中每个第二图像对应的M个相似度,确定所述第一图像与所述每个第二图像的相似度,包括:将所述第二图像对应的M个相似度的平均处理结果确定为所述第一图像与所述第二图像的相似度。

5.根据权利要求1至4任意一项所述的方法,其特征在于,所述将所述第一图像的特征数据输入到特征生成网络进行处理,得到M组目标特征数据,包括:将所述第一图像的特征数据以及M个随机向量输入到所述特征生成网络进行处理,得到所述M组目标特征数据。

6.根据权利要求1所述的方法,其特征在于,在将所述第一图像的特征数据输入到特征生成网络进行处理,得到M组目标特征数据之前,所述方法还包括:将第一训练样本的特征数据输入至所述特征生成网络,得到目标训练特征数据;

将所述目标训练特征数据输入所述判别网络进行处理,得到第一判别结果;

基于所述第一判别结果,确定第一损失;

基于所述第一损失,训练所述特征生成网络。

7.根据权利要求6所述的方法,其特征在于,所述将第一训练样本的特征数据输入至所述特征生成网络,得到目标训练特征数据,包括:将所述第一训练样本的特征数据和训练随机向量输入至所述特征生成网络,得到所述目标训练特征数据;

所述基于所述第一判别结果,确定第一损失,包括:将所述目标训练特征数据输入分类网络进行处理,得到第一分类结果;

将所述目标训练特征数据输入随机向量回归网络进行处理,得到训练回归特征,其中,所述训练回归特征的维度等于所述训练随机向量的维度;

基于所述第一判别结果、所述第一分类结果和所述训练回归特征,确定所述第一损失。

8.根据权利要求6所述的方法,其特征在于,所述获取第一图像的特征数据,包括:利用第一特征提取网络对所述第一图像进行特征提取,得到所述第一图像的特征数据;

所述方法还包括:

根据所述第一损失,训练所述第一特征提取网络。

9.根据权利要求6至8任意一项所述的方法,其特征在于,所述方法还包括:将第二训练样本的特征数据输入到所述判别网络进行处理,得到第二判别结果,其中,所述第二训练样本中包含的信息量大于所述第一训练样本包含的信息量;

将所述第二训练样本的特征数据输入到分类网络进行处理,得到第二分类结果;

基于所述第二判别结果、训练回归特征和所述第二分类结果,确定第二损失;

基于所述第二损失,训练所述判别网络、所述分类网络和随机向量回归网络。

10.一种图像匹配装置,其特征在于,包括:获取单元,用于获取第一图像的特征数据;

第一数据处理单元,用于将所述第一图像的特征数据输入到特征生成网络进行处理,得到M组目标特征数据,所述M为大于或等于2的整数,所述第一图像包含的信息量少于第二图像包含的信息量,所述目标特征数据的维度大于所述第一图像的特征数据的维度;所述特征生成网络是与判别网络通过对抗方式训练得到的,所述判别网络用于区分输入的特征数据所属的模态,所述模态包括强模态或弱模态,所述强模态对应的图像包括的信息量多于所述弱模态对应的图像包括的信息量;

第一确定单元,用于基于所述M组目标特征数据,从至少两个第二图像中确定与所述第一图像匹配的目标图像。

11.根据权利要求10所述的装置,其特征在于,所述第一确定单元包括:第一确定子单元,用于基于所述M组目标特征数据,确定所述第一图像与所述至少两个第二图像中每个第二图像的相似度;

第二确定子单元,用于基于所述第一图像与所述至少两个第二图像中每个第二图像的相似度,从所述至少两个第二图像中确定与所述第一图像匹配的目标图像。

12.根据权利要求11所述的装置,其特征在于,所述第一确定子单元,具体用于获取所述至少两个第二图像中每个第二图像的特征数据;以及基于所述M组目标特征数据与所述至少两个第二图像中每个第二图像的特征数据,得到所述每个第二图像对应的M个相似度;以及根据所述至少两个第二图像中每个第二图像对应的M个相似度,确定所述第一图像与所述每个第二图像的相似度。

13.根据权利要求12所述的装置,其特征在于,所述第一确定子单元,具体用于将所述第二图像对应的M个相似度的平均处理结果确定为所述第一图像与所述第二图像的相似度。

14.根据权利要求10至13任意一项所述的装置,其特征在于,所述第一数据处理单元,具体用于将所述第一图像的特征数据以及M个随机向量输入到所述特征生成网络进行处理,得到所述M组目标特征数据。

15.根据权利要求10所述的装置,其特征在于,所述装置还包括:第二数据处理单元,用于将第一训练样本的特征数据输入至所述特征生成网络,得到目标训练特征数据;

第一判别单元,用于将所述目标训练特征数据输入所述判别网络进行处理,得到第一判别结果;

第二确定单元,用于基于所述第一判别结果,确定第一损失;

第一训练单元,用于基于所述第一损失,训练所述特征生成网络。

16.根据权利要求15所述的装置,其特征在于,所述第二数据处理单元,具体用于将所述第一训练样本的特征数据和训练随机向量输入至所述特征生成网络,得到所述目标训练特征数据;

所述第二确定单元包括:

分类处理子单元,用于将所述目标训练特征数据输入分类网络进行处理,得到第一分类结果;

回归处理子单元,用于将所述目标训练特征数据输入随机向量回归网络进行处理,得到训练回归特征,其中,所述训练回归特征的维度等于所述训练随机向量的维度;

第三确定子单元,用于基于所述第一判别结果、所述第一分类结果和所述训练回归特征,确定所述第一损失。

17.根据权利要求15所述的装置,其特征在于,所述获取单元,具体用于利用第一特征提取网络对所述第一图像进行特征提取,得到所述第一图像的特征数据;

所述第一训练单元,还用于根据所述第一损失,训练所述第一特征提取网络。

18.根据权利要求15至17任意一项所述的装置,其特征在于,所述装置还包括:第二判别单元,用于将第二训练样本的特征数据输入到所述判别网络进行处理,得到第二判别结果,其中,所述第二训练样本中包含的信息量大于所述第一训练样本包含的信息量;

第三确定单元,用于将所述第二训练样本的特征数据输入到分类网络进行处理,得到第二分类结果;

所述第三确定单元,还用于基于所述第二判别结果、训练回归特征和所述第二分类结果,确定第二损失;

第二训练单元,用于基于所述第二损失,训练所述判别网络、所述分类网络和随机向量回归网络。

19.一种图像匹配装置,其特征在于,包括处理器和存储器,所述存储器存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使所述处理器执行如权利要求1至9任意一项所述的方法。

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令当被处理器执行时,使所述处理器执行权利要求1至9任意一项所述的方法。