利索能及
我要发布
收藏
专利号: 2020111481157
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种神经网络模型的超参数确定方法,包括:在所述神经网络模型中构建多个搜索空间;

针对所述多个搜索空间中的每一个搜索空间,分别获取相应的超参数取值集合;

获取由编码器生成的一组编码,其中所述一组编码中的编码个数与所述多个搜索空间的个数相同;以及根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

2.如权利要求1所述的方法,还包括:

基于所确定的超参数值对所述神经网络模型进行训练;

响应于所述神经网络模型收敛,获取所述神经网络模型的训练精度;

响应于未达到编码器更新预设条件,根据所述训练精度更新所述编码器以生成新的一组编码;以及根据所述新的一组编码和所述所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

3.如权利要求1所述的方法,其中,所述多个搜索空间包括粗粒度空间和/或细粒度空间,其中,在所述粗粒度空间中,一层或多层网络共享同一个超参数值;以及在所述细粒度空间中,一个通道或多个通道共享同一个超参数值。

4.如权利要求2所述的方法,其中,所述编码器基于神经网络模型。

5.如权利要求2所述的方法,其中,所述编码器更新预设条件包括以下中的一个或多个:所述神经网络模型的训练精度达到预设精度、所述编码器的更新次数达到预设次数。

6.如权利要求1所述的方法,其中,所述编码器生成的编码的取值与所述超参数取值集合的集合大小相对应。

7.如权利要求1所述的方法,其中,所述超参数包括批量归一化超参数。

8.一种神经网络模型的超参数确定设备,包括:搜索空间构建单元,配置为在所述神经网络模型中构建多个搜索空间;

第一获取单元,配置为针对所述多个搜索空间中的每一个搜索空间,分别获取相应的超参数取值集合;

第二获取单元,配置为获取由编码器生成的一组编码,其中所述一组编码中的编码个数与所述多个搜索空间的个数相同;以及第一确定单元,配置为根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

9.如权利要求8所述的设备,还包括:

训练单元,配置为基于所述确定的超参数值对所述神经网络模型进行训练;

第一响应单元,配置为响应于所述神经网络模型收敛,获取所述神经网络模型的训练精度;

第二响应单元,配置为响应于未达到编码器更新预设条件,根据所述训练精度更新所述编码器以生成新的一组编码;以及第二确定单元,配置为根据所述新的一组编码和所述所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

10.如权利要求8所述的设备,其中,所述多个搜索空间包括粗粒度空间和/或细粒度空间,其中,在所述粗粒度空间中,一层或多层网络共享同一个超参数值;以及在所述细粒度空间中,一个通道或多个通道共享同一个超参数值。

11.如权利要求9所述的设备,其中,所述编码器基于神经网络模型。

12.如权利要求9所述的设备,其中,所述编码器更新预设条件包括以下中的一个或多个:所述神经网络模型的训练精度达到预设精度、所述编码器的更新次数达到预设次数。

13.如权利要求8所述的设备,其中,所述编码器生成的编码的取值与所述超参数取值集合的集合大小相对应。

14.如权利要求8所述的设备,其中,所述超参数包括批量归一化超参数。

15.一种计算设备,包括:

处理器;以及

存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。

16.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算设备的处理器执行时,致使所述计算设备执行根据权利要求1-7中任一项所述的方法。