利索能及
我要发布
收藏
专利号: 2021113068977
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据处理系统,其特征在于,包括:数据采集模块、网络生成模块和网络训练模块;所述数据采集模块、所述网络生成模块以及所述网络训练模块依次通信连接;

所述数据采集模块,用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块;

所述网络生成模块,用于基于获取的所述训练数据集以及所述多个网络组成模块,生成至少一个目标神经网络;每个所述目标神经网络用于执行对应的目标任务;

所述网络训练模块,用于在训练好多个目标神经网络的情况下,对所述多个目标神经网络进行联合训练,得到训练好的联合神经网络;所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

2.根据权利要求1所述的系统,其特征在于,在所述训练数据集包括对应于所述目标任务的训练数据的情况下,所述网络生成模块,用于按照如下步骤生成用于执行对应所述目标任务的目标神经网络:

确定与所述多个网络组成模块关联的多个候选搜索路径,其中,每个候选搜索路径分别对应一种组合方式,所述组合方式用于表征各个网络组成模块之间的运算关系;

利用所述对应于所述目标任务的训练数据以及强化学习网络对所述多个候选搜索路径进行至少一次搜索,得到每次搜索后的回报得分;

按照回报得分符合预设要求的候选搜索路径所对应的组合方式,将各个网络组成模块进行组合,得到用于执行所述目标任务的目标神经网络。

3.根据权利要求2所述的系统,其特征在于,所述网络生成模块,用于按照如下步骤得到每次搜索后的回报得分:

利用强化学习网络对所述多个候选搜索路径进行第一次搜索,并基于第一次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据,确定第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率;

循环执行如下步骤直至满足网络截止条件:基于第n‑1次搜索后的回报得分以及选择对应候选搜索路径的选择概率,确定第n次搜索所选择的候选搜索路径,并基于第n次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据,确定第n次搜索后的回报得分以及选择对应候选搜索路径的选择概率,其中,n为大于1的整数。

4.根据权利要求3所述的系统,其特征在于,所述网络生成模块,用于按照如下步骤确定第n次搜索后的回报得分:

基于第n次搜索所选择的候选搜索路径,构建候选神经网络;

基于所述对应于所述目标任务的训练数据,确定构建的所述候选神经网络的网络精度;

基于构建的所述候选神经网络的网络精度,确定第n次搜索后的回报得分。

5.根据权利要求4所述的系统,其特征在于,所述网络生成模块,用于按照如下步骤确定构建的所述候选神经网络的网络精度:将针对所述目标任务的训练数据输入到构建的所述候选神经网络中,得到所述候选神经网络的输出结果;

将所述输出结果与针对所述训练数据的标注结果进行比对,确定所述候选神经网络的网络精度。

6.根据权利要求2至5任一所述的系统,其特征在于,根据以下方式中的一种选择回报得分符合预设要求的候选搜索路径:选择回报得分最高的候选搜索路径;

按照回报得分对各次搜索对应的候选搜索路径进行排名,并选择排名高于预设名次的候选搜索路径;

选择回报得分高于预设阈值的候选搜索路径。

7.根据权利要求1至6任一所述的系统,其特征在于,所述数据采集模块,用于按照如下步骤获取所述训练数据集:

利用网络输入接口获取网络数据;

基于主动学习网络对获取的网络数据进行质量评估,确定数据质量高于预设阈值的网络数据,并将确定的所述网络数据作为所述训练数据集中的训练数据。

8.根据权利要求1至7任一所述的系统,其特征在于,所述数据采集模块,用于按照如下步骤获取所述训练数据集:

获取包括有初始标注结果的训练数据集;

利用知识图谱结构对所述初始标注结果进行扩展,得到扩展后的标注结果;

基于所述扩展后的标注结果对所述训练数据集进行更新。

9.根据权利要求1至8任一所述的系统,其特征在于,所述多个网络组成模块至少包括特征图提取单元和针对所述特征图提取单元输出的特征图进行下采样的下采样单元。

10.根据权利要求1至9任一所述的系统,其特征在于,所述目标神经网络包括用于进行特征提取的骨干网络层以及用于进行特征处理的其他网络层;所述训练数据集包括具有多个图像文本对的第一训练数据,以及具有多个图像的第二训练数据;所述网络训练模块,用于按照以下步骤训练所述目标神经网络:利用所述第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练,得到训练好的骨干网络层;

在所述训练好的骨干网络层的网络参数值保持不变的情况下,利用所述第二训练数据对待训练的目标神经网络包括的其他网络层进行训练,得到训练好的其他网络层。

11.根据权利要求10所述的系统,其特征在于,所述网络训练模块,用于按照以下步骤得到训练好的骨干网络层:

将所述第一训练数据输入到待训练的目标神经网络,得到所述第一训练数据所包括图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息;

基于所述图像特征信息和所述文本特征信息之间的特征相似度,确定第一损失函数值;

在当前轮训练不满足迭代截止条件的情况下,基于所述第一损失函数值对所述骨干网络层的网络参数值进行调整,并基于调整后的骨干网络层进行下一轮训练,直至满足迭代截止条件。

12.根据权利要求10或11所述的系统,其特征在于,所述网络训练模块,用于按照以下步骤得到训练好的其他网络层:

将所述第二训练数据输入到待训练的目标神经网络,得到所述目标神经网络包括的其他网络层的输出结果;

基于所述输出结果和针对所述第二训练数据所包括图像的标注结果,确定第二损失函数值;

在当前轮训练不满足迭代截止条件的情况下,基于所述第二损失函数值对所述其他网络层的网络参数值进行调整,并基于调整后的其他网络层进行下一轮训练,直至满足迭代截止条件。

13.根据权利要求10至12任一所述的系统,其特征在于,所述网络训练模块,用于按照以下步骤得到训练好的联合神经网络:利用所述多个目标神经网络分别对所述训练数据集中的训练数据进行特征提取,得到每个目标神经网络包括的骨干网络层输出的特征信息;

基于各个所述目标神经网络包括的骨干网络层输出的特征信息,确定待训练的联合神经网络的损失函数值,其中,所述联合神经网络由所述多个目标神经网络以及各个所述目标神经网络包括的骨干网络层之间的连接层构成;

基于所述损失函数值对所述待训练的联合神经网络进行至少一轮网络训练,得到训练好的联合神经网络。

14.根据权利要求13所述的系统,其特征在于,所述多个目标神经网络中的一个目标神经网络作为所述联合神经网络的主神经网络,所述多个目标神经网络中的其它目标神经网络作为所述联合神经网络的副神经网络;所述网络训练模块,用于按照以下步骤确定待训练的联合神经网络的损失函数值:基于所述副神经网络包括的第一骨干网络层输出的第一特征信息对所述主神经网络包括的第二骨干网络层输出的第二特征信息进行更新,得到更新后的第二特征信息;

基于所述更新后的第二特征信息,确定所述待训练的联合神经网络的损失函数值。

15.根据权利要求14所述的系统,其特征在于,所述网络训练模块,用于按照以下步骤确定所述联合神经网络的损失函数值:将所述更新后的第二特征信息输入到所述主神经网络包括的其他网络层,得到其他网络层的输出结果;

基于所述其他网络层的输出结果以及所述主神经网络对应任务下的标注结果,确定所述联合神经网络的损失函数值。

16.根据权利要求1至15任一所述的系统,其特征在于,在所述训练数据集中包括多个图像的情况下,所述系统还包括网络迁移模块;所述网络迁移模块与所述网络训练模块通信连接;

所述网络迁移模块,用于基于所述多个图像,确定用于表征将每个所述图像分解为多个基元的码本;在将训练好的联合神经网络迁移到下游业务场景的情况下,基于得到的所述码本对所述目标业务场景下采集的目标训练数据进行表征,得到表征后的目标训练数据;利用所述表征后的目标训练数据对所述联合神经网络进行再次训练,得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络。

17.根据权利要求16所述的系统,其特征在于,所述网络迁移模块,用于按照以下步骤确定用于表征将每个所述图像分解为多个基元的码本:重复执行以下步骤,直至解码器输出的图像与输入到解码器中的图像之间的相似度大于预设阈值:

将所述图像输入到待训练的编码器,得到所述编码器输出的码本;将所述编码器输出的码本输入到待训练的解码器,得到所述解码器输出的图像。

18.根据权利要求16或17所述的系统,其特征在于,所述网络迁移模块,用于按照如下步骤得到用于对所述目标业务场景下采集的目标场景数据进行处理的训练好的联合神经网络:

在所述联合神经网络包括的骨干网络层的网络参数值保持不变的情况下,利用所述表征后的目标训练数据对所述联合神经网络包括的其他网络层进行再次训练,得到训练好的其他网络层。

19.一种数据处理方法,其特征在于,包括:获取训练数据集、以及用于构成目标神经网络的多个网络组成模块;

基于获取的所述训练数据集以及所述多个网络组成模块,生成至少一个目标神经网络;每个所述目标神经网络用于执行对应的目标任务。

20.根据权利要求19所述的方法,其特征在于,在训练好多个目标神经网络的情况下,所述方法还包括:

对所述多个目标神经网络进行联合训练,得到训练好的联合神经网络;所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。

21.一种数据处理装置,其特征在于,包括:获取模块,用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块;

生成模块,用于基于获取的所述训练数据集以及所述多个网络组成模块,生成至少一个目标神经网络;每个所述目标神经网络用于执行对应的目标任务。

22.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求19或20所述的数据处理方法的步骤。

23.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求19或20所述的数据处理方法的步骤。