利索能及
我要发布
收藏
专利号: 2021106959322
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-07-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种配对模型的训练方法,包括:

利用图像素材库中的图像对初始网络模型进行自监督学习训练,得到预训练模型;

获取第一图像集和第一配对图像集,其中,所述第一配对图像集是通过对所述第一图像集中的图像进行配对得到的;

对所述第一图像集进行聚类,得到聚类后的图像集;

为所述预训练模型设置损失函数;

基于所述聚类后的图像集和所述损失函数对所述预训练模型的参数进行微调,得到微调后的模型;

在所述微调后的模型中加入全连接层,得到目标模型;

使用度量学习方法,将所述第一配对图像集中的每对配对图像作为输入,选用估计的最大损失作为损失函数,训练所述目标模型,得到所述配对模型。

2.根据权利要求1所述的方法,其中,所述获取第一图像集和第一配对图像集,包括:基于用户的搜索行为,得到所述用户下载的第二图像集;

从指定数据源获取与预设关键字匹配的第三图像集;

合并所述第二图像集和所述第三图像集,得到所述第一图像集。

3.根据权利要求2所述的方法,其中,所述获取第一图像集和第一配对图像集,还包括:分别对所述第二图像集和所述第三图像集中的图像进行标注配对,得到配对后的第二配对图像集和第三配对图像集;

合并所述第二配对图像集和所述第三配对图像集,得到所述第一配对图像集。

4.根据权利要求1‑3中任一项所述的方法,其中,在所述利用所述第一图像集和所述第一配对图像集对所述预训练模型进行训练之前,所述方法还包括:分别对所述第一图像集和所述第一配对图像集进行数据清洗与去重。

5.根据权利要求4所述的方法,所述方法还包括:利用所述配对模型提取所述第一配对图像集中的每对配对图像的配对特征,得到配对特征库。

6.一种图像配对方法,包括:

获取待配对图像;

利用配对模型提取所述待配对图像的特征,得到所述待配对图像的配对特征,其中,所述配对模型通过如权利要求1‑5中任一项所述的方法训练得到;

在预先构建的配对特征库中进行检索,获取与所述配对特征相匹配的目标配对图像。

7.一种配对模型的训练装置,包括:

第一训练模块,被配置成利用图像素材库中的图像对初始网络模型进行自监督学习训练,得到预训练模型;

第一获取模块,被配置成获取第一图像集和第一配对图像集,其中,所述第一配对图像集是通过对所述第一图像集中的图像进行配对得到的;

第二训练模块,被配置成对所述第一图像集进行聚类,得到聚类后的图像集;为所述预训练模型设置损失函数;基于所述聚类后的图像集和所述损失函数对所述预训练模型的参数进行微调,得到微调后的模型;在所述微调后的模型中加入全连接层,得到目标模型;使用度量学习方法,将所述第一配对图像集中的每对配对图像作为输入,选用估计的最大损失作为损失函数,训练所述目标模型,得到所述配对模型。

8.根据权利要求7所述的装置,其中,所述第一获取模块包括:得到子模块,被配置成基于用户的搜索行为,得到所述用户下载的第二图像集;

获取子模块,被配置成从指定数据源获取与预设关键字匹配的第三图像集;

第一合并子模块,被配置成合并所述第二图像集和所述第三图像集,得到所述第一图像集。

9.根据权利要求8所述的装置,其中,所述第一获取模块还包括:配对子模块,被配置成分别对所述第二图像集和所述第三图像集中的图像进行标注配对,得到配对后的第二配对图像集和第三配对图像集;

第二合并子模块,被配置成合并所述第二配对图像集和所述第三配对图像集,得到所述第一配对图像集。

10.根据权利要求7‑9中任一项所述的装置,所述装置还包括:去重模块,被配置成分别对所述第一图像集和所述第一配对图像集进行数据清洗与去重。

11.根据权利要求10所述的装置,所述装置还包括:第一提取模块,被配置成利用所述配对模型提取所述第一配对图像集中的每对配对图像的配对特征,得到配对特征库。

12.一种图像配对装置,包括:

第二获取模块,被配置成获取待配对图像;

第二提取模块,被配置成利用配对模型提取所述待配对图像的特征,得到所述待配对图像的配对特征,其中,所述配对模型通过如权利要求1‑5中任一项所述的方法训练得到;

检索模块,被配置成在预先构建的配对特征库中进行检索,获取与所述配对特征相匹配的目标配对图像。

13.一种终端设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑6中任一项所述的方法。