利索能及
我要发布
收藏
专利号: 2020110275932
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型训练方法,包括:

对目标数据集进行特征提取训练,得到特征提取模型;所述目标数据集中的数据为标签数据;

通过所述特征提取模型对无标签数据集进行特征提取,得到无标签数据特征;

根据所述无标签数据特征训练预训练模型;

对所述无标签数据集中的各个无标签数据进行数据裁剪,得到裁剪无标签数据集;

根据所述裁剪无标签数据集对所述预训练模型进行优化训练,得到目标预训练模型;

根据所述目标数据集对所述目标预训练模型进行训练,得到目标训练模型;其中,所述目标数据集中的标签数据为标签图像数据,所述目标训练模型用于对标签图像进行图像识别;

其中,所述预训练模型的训练过程,包括:

确定更新无标签数据集的当前分类处理结果;其中,所述更新无标签数据集为包括聚类类别的所述无标签数据集,所述聚类类别为对所述无标签数据特征进行聚类处理得到的多个数据类别;

根据所述当前分类处理结果中各当前聚类类别的置信度对各所述当前聚类类别进行可靠性排序;

根据可靠性排序结果获取前设定比例的无标签数据作为目标分类结果,并根据所述目标分类结果训练所述预训练模型;

返回执行对目标数据集进行特征提取训练的操作,直至所述可靠性排序结果保持不变。

2.根据权利要求1所述的方法,其中,所述对目标数据集进行特征提取训练,包括:通过预设特征提取模型对所述目标数据集进行度量学习;

其中,所述预设特征提取模型的损失函数采用arcmargin损失函数。

3.根据权利要求1所述的方法,其中,所述根据所述无标签数据特征训练预训练模型,包括:通过所述特征提取模型对所述无标签数据特征进行聚类处理;

根据所述无标签数据特征的聚类结果对所述无标签数据集中的各个无标签数据进行分类处理;其中,所述聚类结果包括的聚类类别数量与所述目标数据集中标签数据的类别数量的差值满足特征聚类条件;

根据所述无标签数据集的分类处理结果更新所述无标签数据集得到更新无标签数据集,并利用所述更新无标签数据集训练所述预训练模型。

4.根据权利要求1所述的方法,其中,所述对所述无标签数据集中的各个无标签数据进行数据裁剪,包括:根据所述预训练模型预测所述无标签数据集中各所述无标签数据匹配的预测热度区域;

根据各所述预测热度区域对各所述无标签数据的感兴趣区域进行数据裁剪。

5.根据权利要求1所述的方法,其中,所述根据所述目标数据集对所述目标预训练模型进行训练,包括:对所述目标预训练模型确定目标学习率;

对所述目标预训练模型的预设网络层的网络参数进行参数固定处理;

根据所述目标数据集对参数固定处理后的目标预训练模型进行训练。

6.一种模型训练装置,包括:

特征提取模型获取模块,用于对目标数据集进行特征提取训练,得到特征提取模型;所述目标数据集中的数据为标签数据;

无标签数据特征获取模块,用于通过所述特征提取模型对无标签数据集进行特征提取,得到无标签数据特征;

预训练模型训练模块,用于根据所述无标签数据特征训练预训练模型;

数据裁剪模块,用于对所述无标签数据集中的各个无标签数据进行数据裁剪,得到裁剪无标签数据集;

目标预训练模型获取模块,用于根据所述裁剪无标签数据集对所述预训练模型进行优化训练,得到目标预训练模型;

目标训练模型获取模块,用于根据所述目标数据集对所述目标预训练模型进行训练,得到目标训练模型;

其中,所述目标数据集中的标签数据为标签图像数据,所述目标训练模型用于对标签图像进行图像识别;

其中,所述预训练模型的训练过程,包括:

确定更新无标签数据集的当前分类处理结果;其中,所述更新无标签数据集为包括聚类类别的所述无标签数据集,所述聚类类别为对所述无标签数据特征进行聚类处理得到的多个数据类别;

根据所述当前分类处理结果中各当前聚类类别的置信度对各所述当前聚类类别进行可靠性排序;

根据可靠性排序结果获取前设定比例的无标签数据作为目标分类结果,并根据所述目标分类结果训练所述预训练模型;

返回执行对目标数据集进行特征提取训练的操作,直至所述可靠性排序结果保持不变。

7.根据权利要求6所述的装置,其中,所述特征提取模型获取模块具体用于:通过预设特征提取模型对所述目标数据集进行度量学习;

其中,所述预设特征提取模型的损失函数采用arcmargin损失函数。

8.根据权利要求6所述的装置,其中,所述预训练模型训练模块具体用于:通过所述特征提取模型对所述无标签数据特征进行聚类处理;

根据所述无标签数据特征的聚类结果对所述无标签数据集中的各个无标签数据进行分类处理;其中,所述聚类结果包括的聚类类别数量与所述目标数据集中标签数据的类别数量的差值满足特征聚类条件;

根据所述无标签数据集的分类处理结果更新所述无标签数据集得到更新无标签数据集,并利用所述更新无标签数据集训练所述预训练模型。

9.根据权利要求6所述的装置,其中,所述数据裁剪模块具体用于:根据所述预训练模型预测所述无标签数据集中各所述无标签数据匹配的预测热度区域;

根据各所述预测热度区域对各所述无标签数据的感兴趣区域进行数据裁剪。

10.根据权利要求6所述的装置,其中,所述目标训练模型获取模块具体用于:对所述目标预训练模型确定目标学习率;

对所述目标预训练模型的预设网络层的网络参数进行参数固定处理;

根据所述目标数据集对参数固定处理后的目标预训练模型进行训练。

11.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的模型训练方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑5中任一项所述的模型训练方法。