利索能及
我要发布
收藏
专利号: 2020115069950
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像特征提取模型的训练方法,包括:

获取训练数据集,其中,所述训练数据集中包括多种类型的图像及每种类型图像对应的标注特征;

根据每个图像所属的类型,将所述训练数据集中的图像分别输入初始图像特征提取模型中对应的参考向量生成网络,以获取每种类型的图像对应的参考向量;

将所述训练数据集输入所述初始图像特征提取模型中的特征图生成网络,以获取所述训练数据集对应的初始特征图;

利用所述初始图像特征提取模型中的多个解码网络,分别对每种类型对应的参考向量及初始特征图进行解码,以确定所述每种类型图像对应的预测特征;

根据所述每种类型图像对应的标注特征与预测特征的差异,分别对所述参考向量生成网络、特征图生成网络及解码网络进行修正,以生成目标图像特征提取模型。

2.如权利要求1所述的方法,其中,所述利用所述初始图像特征提取模型中的多个解码网络,分别对每种类型图像对应的参考向量及初始特征图进行解码,以确定所述每种类型图像对应的预测特征,包括:将所述初始特征图进行分解,以获取所述每种类型图像对应的初始特征图;

基于所述每种类型图像对应的参考向量,对所述每种类型图像对应的初始特征图进行修正,以获取所述每种类型图像对应的目标特征图;

利用所述初始图像特征提取模型中的多个解码网络,对所述每种类型图像对应的目标特征图进行解码,以确定所述每种类型图像对应的预测特征。

3.如权利要求2所述的方法,其中,所述将所述初始特征图进行分解,以获取所述每种类型图像对应的初始特征图,包括:根据所述每种类型图像在所述特征图生成网络中对应的维度,确定所述初始特征图对应的分解方式;

根据所述分解方式,将所述初始特征图进行分解,以获取所述每种类型图像对应的初始特征图。

4.如权利要求1‑3任一所述的方法,其中,所述获取训练数据集之后,还包括:将所述训练数据集进行预处理,以获取目标训练数据集,其中,所述目标训练数据集中包含的各种类型的图像数量相同。

5.一种图像特征的提取方法,包括:

确定待处理的图像所属的目标类型;

根据所述目标类型,获取对应的目标模型,其中,所述目标模型为利用如权利要求1‑4任一所述的模型训练方法生成的;

将所述待处理的图像输入所述目标模型,以获取所述待处理的图像的特征。

6.如权利要求5所述的方法,其中,所述目标模型中包括参考向量生成网络、初始特征图生成网络及解码网络,所述将所述待处理的图像输入所述目标模型,以获取所述待处理的图像的特征,包括:将所述待处理的图像分别输入所述参考向量生成网络及初始特征图生成网络,以分别获取所述待处理的图像对应的参考向量及初始特征图;

基于所述待处理的图像对应的参考向量,对所述初始特征图进行修正,以获取所述待处理的图像对应的目标特征图;

利用所述解码网络,对所述目标特征图进行解码,以获取所述待处理的图像的特征。

7.一种图像特征提取模型的训练装置,包括:

第一获取模块,用于获取训练数据集,其中,所述训练数据集中包括多种类型的图像及每种类型图像对应的标注特征;

第二获取模块,用于根据每个图像所属的类型,将所述训练数据集中的图像分别输入初始图像特征提取模型中对应的参考向量生成网络,以获取每种类型的图像对应的参考向量;

第三获取模块,用于将所述训练数据集输入所述初始图像特征提取模型中的特征图生成网络,以获取所述训练数据集对应的初始特征图;

确定模块,用于利用所述初始图像特征提取模型中的多个解码网络,分别对每种类型对应的参考向量及初始特征图进行解码,以确定所述每种类型图像对应的预测特征;

生成模块,用于根据所述每种类型图像对应的标注特征与预测特征的差异,分别对所述参考向量生成网络、特征图生成网络及解码网络进行修正,以生成目标图像特征提取模型。

8.如权利要求7所述的装置,其中,所述确定模块,包括:第一获取单元,用于将所述初始特征图进行分解,以获取所述每种类型图像对应的初始特征图;

第二获取单元,用于基于所述每种类型图像对应的参考向量,对所述每种类型图像对应的初始特征图进行修正,以获取所述每种类型图像对应的目标特征图;

确定单元,用于利用所述初始图像特征提取模型中的多个解码网络,对所述每种类型图像对应的目标特征图进行解码,以确定所述每种类型图像对应的预测特征。

9.如权利要求8所述的装置,其中,所述第一获取单元,用于:根据所述每种类型图像在所述特征图生成网络中对应的维度,确定所述初始特征图对应的分解方式;

根据所述分解方式,将所述初始特征图进行分解,以获取所述每种类型图像对应的初始特征图。

10.如权利要求7‑9任一所述的装置,还包括:

预处理模块,用于将所述训练数据集进行预处理,以获取目标训练数据集,其中,所述目标训练数据集中包含的各种类型的图像数量相同。

11.一种图像特征的提取装置,包括:

确定模块,用于确定待处理的图像所属的目标类型;

第一获取模块,用于根据所述目标类型,获取对应的目标模型,其中,所述目标模型为利用如权利要求1‑4任一所述的模型训练方法生成的;

第二获取模块,用于将所述待处理的图像输入所述目标模型,以获取所述待处理的图像的特征。

12.如权利要求11所述的装置,其中,所述第二获取模块,用于:将所述待处理的图像分别输入所述参考向量生成网络及初始特征图生成网络,以分别获取所述待处理的图像对应的参考向量及初始特征图;

基于所述待处理的图像对应的参考向量,对所述初始特征图进行修正,以获取所述待处理的图像对应的目标特征图;

利用所述解码网络,对所述目标特征图进行解码,以获取所述待处理的图像的特征。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑4中任一项所述的图像特征提取模型的训练方法,或5‑6中任一项所述的图像特征的提取方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑4中任一项所述的图像特征提取模型的训练方法,或5‑6中任一项所述的图像特征的提取方法。

15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序被处理器执行时实现权利要求1‑4中任一项所述的图像特征提取模型的训练方法,或5‑6中任一项所述的图像特征的提取方法。