利索能及
我要发布
收藏
专利号: 202110650902X
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型训练方法,包括:

获取样本图像集,其中,所述样本图像集包括已标注标签的样本图像;

将所述样本图像集中的样本图像输入至预先训练的第一模型,得到与输入的所述样本图像集中的样本图像对应的第一特征集,其中,所述第一模型为训练好的教师模型;

基于所述第一特征集,对所述样本图像集中的样本图像进行样本划分,得到所述样本集中的样本图像对应的第一正样本集和第一负样本集;根据所述第一正样本集和所述第一负样本集,对所述第一特征集进行选取,得到所述第一正样本集对应的第一正样本特征集和所述第一负样本集对应的第一负样本特征集;合并所述第一正样本特征集和所述第一负样本特征集,生成所述第一模型的样本特征对;

将所述样本图像集中的样本图像作为输入,将与输入的所述样本图像集中的样本图像对应的第二特征集作为输出,对第二模型进行训练,得到特征提取模型,其中,所述第二模型为待训练的学生模型,所述第二模型的损失函数基于所述第一模型的样本特征对和所述第二模型的样本特征对而构建,所述第二模型的样本特征对用于表征所述第二特征集中的正样本特征集和所述第二特征集中的负样本特征集。

2.根据权利要求1所述的方法,其中,所述基于所述第一特征集,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第一正样本集和第一负样本集,包括:对所述第一特征集进行分析,生成所述第一特征集对应的相似度矩阵;

根据所述相似度矩阵和相似度阈值,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第一正样本集和所述样本图像集中的样本图像对应的第一负样本集,所述正样本集表征所述相似度矩阵中相似度值大于相似度阈值的样本,所述负样本集表征所述相似度矩阵中相似度值不大于相似度阈值的样本。

3.根据权利要求1或2所述的方法,其中,所述将输入的所述样本图像集中的样本图像对应的作为输入,将与输入的所述样本图像集中的样本图像对应的第二特征集作为输出,对第二模型进行训练,包括:将所述样本图像集中的样本图像输入至所述第二模型,得到与输入的所述样本图像集中的样本图像对应的第二特征集;

基于所述第二特征集,确定所述第二特征集对应的第二正样本特征集和所述第二特征集对应的第二负样本特征集,生成表征所述第二正样本特征集和所述第二负样本特征集的所述第二模型的样本特征对;

基于所述第一模型的样本特征对和所述第二模型的样本特征对,计算损失函数;

基于梯度下降对所述损失函数进行反向传播,更新所述第二模型的参数。

4.根据权利要求3所述的方法,其中,所述基于所述第二特征集,确定所述第二特征集对应的第二正样本特征集和所述第二特征集对应的第二负样本特征集,生成表征所述第二正样本特征集和所述第二负样本特征集的所述第二模型的样本特征对,包括:基于所述第二特征集,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第二正样本集和所述样本图像集中的样本图像对应的第二负样本集;

根据所述第二正样本集和所述第二负样本集,对所述第二特征集进行选取,得到所述第二正样本集对应的第二正样本特征集和所述第二负样本集对应的第二负样本特征集;

合并所述第二正样本特征集和所述第二负样本特征集,生成表征所述第二正样本特征集和所述第二负样本特征集的所述第二模型的样本特征对。

5.根据权利要求4所述的方法,其中,所述基于所述第二特征集,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第二正样本集和所述样本图像集中的样本图像对应的第二负样本集,包括:对所述第二特征集进行分析,生成所述第二特征集对应的相似度矩阵;

根据所述第二特征集对应的相似度矩阵和相似度阈值,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第二正样本集和所述样本图像集中的样本图像对应的第二负样本集。

6.根据权利要求1所述的方法,其中,所述损失函数目标为使所述第二模型的正样本与负样本之间的距离接近所述第一模型的正样本与负样本之间的距离。

7.根据权利要求1‑6之一所述的方法,还包括:

对所述样本图像集中的样本图像进行图像预处理,并将处理后的样本图像添加到所述样本图像集中,其中,所述图像预处理包括以下至少一项:图像求反、图像压缩、对比度拉伸。

8.一种用于生成信息的方法,包括:

获取目标图像;

将所述目标图像输入至预先训练的特征提取模型,生成所述目标图像对应的特征集,其中,所述特征提取模型通过如权利要求1‑7之一所述的方法训练得到。

9.一种模型训练装置,包括:

获取单元,被配置成获取样本图像集,其中,所述样本图像集包括已标注标签的样本图像;

输入单元,被配置成将所述样本图像集中的样本图像输入至预先训练的第一模型,得到与输入的所述样本图像集中的样本图像对应的第一特征集,其中,所述第一模型为训练好的教师模型;

生成单元,包括:划分模块,被配置成基于所述第一特征集,对所述样本图像集中的样本图像进行样本划分,得到所述样本集中的样本图像对应的第一正样本集和第一负样本集;选取模块,被配置成根据所述第一正样本集和所述第一负样本集,对所述第一特征集进行选取,得到所述第一正样本集对应的第一正样本特征集和所述第一负样本集对应的第一负样本特征集;合并模块,被配置成合并所述第一正样本特征集和所述第一负样本特征集,生成所述第一模型的样本特征对;

训练单元,被配置成将所述样本图像集中的样本图像作为输入,将与输入的所述样本图像集中的样本图像对应的第二特征集作为输出,对第二模型进行训练,得到特征提取模型,其中,所述第二模型为待训练的学生模型,所述第二模型的损失函数基于所述第一模型的样本特征对和所述第二模型的样本特征对而构建,所述第二模型的样本特征对用于表征所述第二特征集中的正样本特征集和所述第二特征集中的负样本特征集。

10.根据权利要求9所述的装置,其中,所述划分模块进一步被配置成:

对所述第一特征集进行分析,生成所述第一特征集对应的相似度矩阵;

根据所述相似度矩阵和相似度阈值,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第一正样本集和第一负样本集,所述正样本集表征所述相似度矩阵中相似度值大于相似度阈值的样本,所述负样本集表征所述相似度矩阵中相似度值不大于相似度阈值的样本。

11.根据权利要求9或10所述的装置,其中,所述训练单元,包括:

输入模块,被配置成将所述样本图像集中的样本图像输入至所述第二模型,得到与输入的所述样本图像集中的样本图像对应的第二特征集;

生成模块,被配置成基于所述第二特征集,确定所述第二特征集对应的第二正样本特征集和所述第二特征集对应的第二负样本特征集,生成表征所述第二正样本特征集和所述第二负样本特征集的所述第二模型的样本特征对;

计算模块,被配置成基于所述第一模型的样本特征对和所述第二模型的样本特征对,计算损失函数;

更新模块,被配置成基于梯度下降对所述损失函数进行反向传播,更新所述第二模型的参数。

12.根据权利要求11所述的装置,其中,所述生成模块,包括:

划分子模块,被配置成基于所述第二特征集,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第二正样本集和所述样本图像集中的样本图像对应的第二负样本集;

选取子模块,被配置成根据所述第二正样本集和所述第二负样本集,对所述第二特征集进行选取,得到所述第二正样本集对应的第二正样本特征集和所述第二负样本集对应的第二负样本特征集;

合并子模块,被配置成合并所述第二正样本特征集和所述第二负样本特征集,生成表征所述第二正样本特征集和所述第二负样本特征集的所述第二模型的样本特征对。

13.根据权利要求12所述的装置,其中,所述划分子模块进一步被配置成:对所述第二特征集进行分析,生成所述第二特征集对应的相似度矩阵;

根据所述第二特征集对应的相似度矩阵和相似度阈值,对输入的所述样本图像集中的样本图像进行样本划分,得到所述样本图像集中的样本图像对应的第二正样本集和所述样本图像集中的样本图像对应的第二负样本集。

14.根据权利要求9所述的装置,其中,所述损失函数目标为使所述第二模型的正样本与负样本之间的距离接近所述第一模型的正样本与负样本之间的距离。

15.根据权利要求9‑14之一所述的装置,还包括:

预处理单元,被配置成对所述样本图像集中的样本图像进行图像预处理,并将处理后的样本图像添加到所述样本图像集中,其中,所述图像预处理包括以下至少一项:图像求反、图像压缩、对比度拉伸。

16.一种用于生成信息的装置,包括:

图像获取单元,被配置成获取目标图像;

信息生成单元,被配置成将所述目标图像输入至预先训练的特征提取模型,生成所述目标图像对应的特征集,其中,所述特征提取模型通过如权利要求1‑7之一所述的方法训练得到。

17.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑8中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑8中任一项所述的方法。