利索能及
我要发布
收藏
专利号: 202010606935X
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于超网络的模型获取方法,包括:获取至少两个超网络,所述至少两个超网络对应的网络结构相同,所述至少两个超网络的参数不同;

基于所述至少两个超网络的参数,训练目标子网络,得到损失函数,所述目标子网络为随机从所述网络结构的搜索空间中选择的子网络;

根据所述损失函数,更新所述至少两个超网络的参数;

根据更新后的至少两个超网络,确定目标模型。

2.根据权利要求1所述的方法,其中,所述基于所述至少两个超网络的参数,训练目标子网络,得到损失函数,包括:对于所述至少两个超网络,基于所述超网络的参数训练所述目标子网络,得到至少两个特征和至少两个损失函数;

根据所述至少两个特征,获得至少一个差值损失函数。

3.根据权利要求2所述的方法,其中,所述根据所述至少两个特征,获得至少一个差值损失函数,包括:确定所述至少两个特征之间的距离,得到所述至少一个差值损失函数。

4.根据权利要求2所述的方法,其中,所述根据所述损失函数,更新所述至少两个超网络的参数,包括:对于所述至少两个超网络,根据所述超网络对应的损失函数和差值损失函数,更新所述超网络的参数。

5.根据权利要求4所述的方法,其中,所述根据所述超网络对应的损失函数和差值损失函数,更新所述超网络的参数,包括:对所述超网络对应的损失函数和差值损失函数进行叠加处理,得到叠加后的损失函数;

根据所述叠加后的损失函数,更新所述超网络的参数。

6.根据权利要求1所述的方法,其中,所述根据更新后的至少两个超网络,确定目标模型,包括:根据更新后的至少两个超网络的平均性能,搜索最优的模型结构为所述目标模型。

7.根据权利要求1至6中任一项所述的方法,其中,所述根据更新后的至少两个超网络,确定目标模型之前,还包括:确定迭代次数是否达到预设迭代次数;

若迭代次数达到预设迭代次数,则执行所述根据更新后的至少两个超网络,确定目标模型。

8.根据权利要求7所述的方法,其中,还包括:若迭代次数未达到预设迭代次数,则重新获取目标子网络,并执行所述基于所述至少两个超网络的参数,训练目标子网络,得到损失函数。

9.根据权利要求1至6中任一项所述的方法,其中,所述根据更新后的至少两个超网络,确定目标模型之后,还包括:输出所述目标模型。

10.一种基于超网络的模型获取装置,包括:获取模块,用于获取至少两个超网络,所述至少两个超网络对应的网络结构相同,所述至少两个超网络的参数不同;

训练模块,用于基于所述至少两个超网络的参数,训练目标子网络,得到损失函数,所述目标子网络为随机从所述网络结构的搜索空间中选择的子网络;

更新模块,用于根据所述损失函数,更新所述至少两个超网络的参数;

确定模块,用于根据更新后的至少两个超网络,确定目标模型。

11.根据权利要求10所述的装置,其中,所述训练模块具体用于:对于所述至少两个超网络,基于所述超网络的参数训练所述目标子网络,得到至少两个特征和至少两个损失函数;

根据所述至少两个特征,获得至少一个差值损失函数。

12.根据权利要求11所述的装置,其中,所述训练模块在用于根据所述至少两个特征,获得至少一个差值损失函数时,具体为:确定所述至少两个特征之间的距离,得到所述至少一个差值损失函数。

13.根据权利要求11所述的装置,其中,所述更新模块具体用于:对于所述至少两个超网络,根据所述超网络对应的损失函数和差值损失函数,更新所述超网络的参数。

14.根据权利要求13所述的装置,其中,所述更新模块在用于根据所述超网络对应的损失函数和差值损失函数,更新所述超网络的参数时,具体为:对所述超网络对应的损失函数和差值损失函数进行叠加处理,得到叠加后的损失函数;

根据所述叠加后的损失函数,更新所述超网络的参数。

15.根据权利要求10所述的装置,其中,所述确定模块具体用于:根据更新后的至少两个超网络的平均性能,搜索最优的模型结构为所述目标模型。

16.根据权利要求10至15中任一项所述的装置,其中,所述确定模块还用于:在根据更新后的至少两个超网络,确定目标模型之前,确定迭代次数是否达到预设迭代次数;

若迭代次数达到预设迭代次数,则执行所述根据更新后的至少两个超网络,确定目标模型。

17.根据权利要求16所述的装置,其中,所述确定模块还用于:若迭代次数未达到预设迭代次数,则触发所述训练模块重新获取目标子网络,并执行所述基于所述至少两个超网络的参数,训练目标子网络,得到损失函数。

18.根据权利要求10至15中任一项所述的装置,其中,还包括:输出模块,用于输出所述目标模型。

19.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1至9中任一项所述的方法。