利索能及
我要发布
收藏
专利号: 2016105159954
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像样本数据处理方法,包括:

从图像样本的数据中获取所述图像样本的特征向量对;

确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;

对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度,其中,所述方法还包括:根据所述特征向量对的相似度,获得所述图像样本中的正图像样本对的分数分布和负图像样本对的分数分布;根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本。

2.根据权利要求1所述的方法,其中,所述确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。

3.根据权利要求1所述的方法,其中,对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;

级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;

对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。

4.根据权利要求3所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;

再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;

对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。

5.根据权利要求3所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理,包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。

6.根据权利要求1至5任一项所述的方法,其中,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置包括:分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;

根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。

7.根据权利要求1所述的方法,其中,根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本包括:根据所述正图像样本对的分数分布,确定相似度最低的正图像样本对为正困难图像样本对;

对所述正困难图像样本对中的每个图像样本,确定每个图像样本对应的相似度最高的负图像样本,获得负困难图像样本对。

8.根据权利要求7所述的方法,其中,在所述获得负困难图像样本对之后,所述方法还包括:获得所述正困难图像样本对的相似度和所述负困难图像样本对的相似度;

使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难图像样本对的相似度,和缩小所述负困难图像样本对的相似度。

9.根据权利要求8所述的方法,其中,在所述使用第一双铰链损失函数对获得的相似度进行处理之后,所述方法还包括:获得所述正困难图像样本对所对应的特征向量的第一距离,和,所述负困难图像样本对所对应的特征向量的第二距离;

使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。

10.一种图像识别方法,包括:

获取待识别图像的特征向量以及图像样本数据集中的图像样本的特征向量,其中,所述图像样本数据集中包括至少一个图像样本;

分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对;

对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;

对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;

根据所述相似度,确定所述图像样本数据集中与所述待识别图像相似度满足预定条件的图像样本。

11.根据权利要求10所述的方法,其中,所述对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置包括:对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。

12.根据权利要求10所述的方法,其中,所述对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,包括:分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;

级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;

对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。

13.根据权利要求12所述的方法,其中,分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理包括:分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;

再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;

对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。

14.根据权利要求12或13所述的方法,其中,所述对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理包括:对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。

15.根据权利要求10所述的方法,其中,所述分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对包括:分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量进行特征向量模值归一化处理;

将进行了归一化处理后的每一个图像样本的特征向量与待识别图像的特征向量进行组合,生成对应的至少一个特征向量对。

16.一种图像样本数据处理装置,包括:

第一获取模块,用于从图像样本的数据中获取所述图像样本的特征向量对;

第一确定模块,用于确定所述特征向量对的距离和所述特征向量对在特征空间中的位置;

第一相似度度量模块,用于对所述特征向量对的距离和所述特征向量对在特征空间中的位置进行非线性映射处理,并根据处理结果确定所述特征向量对的相似度,其中,所述装置还包括:第二获取模块,用于根据所述特征向量对的相似度,获得所述图像样本中的正图像样本对的分数分布和负图像样本对的分数分布;

困难图像样本选择模块,用于根据所述正图像样本对的分数分布和所述负图像样本对的分数分布,选择困难图像样本。

17.根据权利要求16所述的装置,其中,所述第一确定模块,用于针对每个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。

18.根据权利要求16所述的装置,其中,所述第一相似度度量模块包括:第一非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;

第一级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;

第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;

相似度确定模块,用于根据所述第二非线性处理模块的处理结果确定所述特征向量对的相似度。

19.根据权利要求18所述的装置,其中,所述第一非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。

20.根据权利要求18所述的装置,其中,所述第二非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。

21.根据权利要求16至20任一项所述的装置,其中,所述第一确定模块,用于分别将特征向量对中的每一个特征向量进行特征向量模值归一化处理;根据进行了归一化处理后的特征向量模值,确定所述特征向量对的距离和所述特征向量对在特征空间中的位置。

22.根据权利要求16所述的装置,其中,所述困难图像样本选择模块,用于根据所述正图像样本对的分数分布,确定相似度最低的正图像样本对作为正困难图像样本对;对所述正困难图像样本对中的每个图像样本,确定每个图像样本对应的相似度最高的负图像样本,获得负困难图像样本对。

23.根据权利要求22所述的装置,其中,所述装置还包括:

第三获取模块,用于在所述困难图像样本选择模块获得负困难图像样本对之后,获得所述正困难图像样本对的相似度和所述负困难图像样本对的相似度;

第一损失处理模块,用于使用第一双铰链损失函数对获得的相似度进行处理,其中,所述第一双铰链损失函数用于增大所述正困难图像样本对的相似度,和缩小所述负困难图像样本对的相似度。

24.根据权利要求23所述的装置,其中,所述装置还包括:

第四获取模块,用于在所述第一损失处理模块使用第一双铰链损失函数对获得的相似度进行处理之后,获得所述正困难图像样本对所对应的特征向量的第一距离,和,所述负困难图像样本对所对应的特征向量的第二距离;

第二损失处理模块,用于使用第二双铰链损失函数对所述第一距离和所述第二距离进行处理,其中,所述第二双铰链损失函数用于增大所述第二距离,增大后的所述第二距离大于所述第一距离。

25.一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1至9任一项所述的图像样本数据处理方法对应的操作。

26.一种图像识别装置,包括:

第五获取模块,用于获取待识别图像的特征向量以及图像样本数据集中的图像样本的特征向量,其中,所述图像样本数据集中包括至少一个图像样本;

生成模块,用于分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量组合,生成对应的至少一个特征向量对;

第二确定模块,用于对生成的每一个特征向量对,确定特征向量对的距离和特征向量对在特征空间中的位置;

第二相似度度量模块,用于对特征向量对的距离和特征向量对在特征空间中的位置进行非线性映射处理,根据处理结果确定特征向量对的相似度;

图像样本确定模块,用于根据所述相似度,确定所述图像样本数据集中与所述待识别图像相似度满足预定条件的图像样本。

27.根据权利要求26所述的装置,其中,所述第二确定模块,用于对生成的每一个特征向量对,将特征向量对的特征向量之差的绝对值确定为特征向量对的距离;将特征向量对的均值确定为特征向量对的位置。

28.根据权利要求26所述的装置,其中,所述第二相似度度量模块包括:第三非线性处理模块,用于分别对所述特征向量对的距离和所述特征向量对在特征空间中的位置通过非线性函数进行处理;

第二级联模块,用于级联处理后的特征向量对的距离和特征向量对在特征空间中的位置;

第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理。

29.根据权利要求28所述的装置,其中,所述第三非线性处理模块,用于分别将所述特征向量对的距离和所述特征向量对在特征空间中的位置通过不同的全连接层进行映射;再分别对进行了全连接层映射后的特征向量对的距离和特征向量对在特征空间中的位置通过非线性函数进行处理;对处理后的特征向量对的距离和特征向量对在特征空间中的位置进行模值归一化处理。

30.根据权利要求28或29所述的装置,其中,所述第四非线性处理模块,用于对级联后的特征向量对的距离和特征向量对在特征空间中的位置依次进行全连接层映射处理、非线性函数处理和再次的全连接层映射处理。

31.根据权利要求26所述的装置,其中,所述生成模块,用于分别将获取的每一个图像样本的特征向量与所述待识别图像的特征向量进行特征向量模值归一化处理;将进行了归一化处理后的每一个图像样本的特征向量与待识别图像的特征向量进行组合,生成对应的至少一个特征向量对。

32.一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求10至15任一项所述的图像识别方法对应的操作。