利索能及
我要发布
收藏
专利号: 2018107462870
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型扩展方法,其特征在于,所述方法包括:根据第一模型的多个网络层中的多个节点的激活值以及所述激活值的梯度,确定所述多个节点的重要性参数;

根据所述多个节点的重要性参数和所述多个网络层的预设生长比率,确定所述多个节点中的待扩展节点;

根据所述多个网络层的待扩展节点对所述第一模型进行扩展处理,获得第二模型。

2.根据权利要求1所述的方法,其特征在于,根据所述多个网络层的待扩展节点对所述第一模型进行扩展处理,获得第二模型,包括:对目标节点进行复制处理,获得与所述目标节点对应的复制节点,其中,所述目标节点是所述待扩展节点中的任意一个,所述复制节点与所述目标节点处于同一网络层;

根据所述目标节点的第一权值,确定所述复制节点的权值以及所述目标节点的第二权值,其中,所述第一权值为所述目标节点在所述第一模型中的权值,所述第二权值为对所述目标节点进行复制后,所述目标节点的权值;

根据所述目标节点的第二权值、所述复制节点以及所述复制节点的权值对所述第一模型进行扩展处理,获得对所述目标节点进行扩展后的第一模型;

根据对所有的待扩展节点进行扩展后的第一模型,确定所述第二模型。

3.根据权利要求2所述的方法,其特征在于,所述目标节点的第一权值包括目标节点的第一输入权值和第一输出权值,所述目标节点的第二权值包括目标节点的第二输入权值和第二输出权值,所述复制节点的权值包括所述复制节点的输入权值和所述复制节点的输出权值,其中,根据所述目标节点的第一权值,确定所述复制节点的权值以及所述目标节点的第二权值,包括:根据所述目标节点的第一输入权值,确定所述目标节点的第二输入权值和所述复制节点的输入权值;

根据所述目标节点和与所述目标节点对应的复制节点的数量,确定第一输出权值的缩小倍数;

根据所述第一输出权值以及所述缩小倍数,确定所述第二输出权值和所述复制节点的输出权值。

4.根据权利要求3所述的方法,其特征在于,根据所述目标节点的第一输入权值,确定所述目标节点的第二输入权值和所述复制节点的输入权值,包括:将目标节点的第一输入权值确定为所述目标节点的第二输入权值;

将目标节点的第一输入权值确定为所述复制节点的初始输入权值;

对所述初始输入权值添加高斯噪声,获得所述复制节点的输入权值。

5.根据权利要求2所述的方法,其特征在于,根据对所有的待扩展节点进行扩展后的第一模型,确定所述第二模型,包括:将对所有的待扩展节点进行扩展后的第一模型确定为初始第二模型;

使用第二学习速率对所述初始第二模型进行训练,获得所述第二模型,其中,所述第二学习速率小于训练所述第一模型时使用的第一学习速率。

6.根据权利要求1所述的方法,其特征在于,根据所述多个网络层中的多个节点的激活值以及所述激活值的梯度,确定所述多个节点的重要性参数,包括:根据所述激活值以及所述激活值的梯度,确定所述激活值与所述激活值的梯度的向量积;

将所述向量积的模确定为所述重要性参数。

7.根据权利要求1所述的方法,其特征在于,根据所述多个节点的重要性参数和所述多个网络层的预设生长比率,确定所述多个节点中的待扩展节点,包括:根据多个网络层的预设生长比率,确定所述多个网络层中待扩展的节点数量;

根据所述多个节点的重要性参数和所述多个网络层中待扩展的节点数量,确定所述多个节点中的待扩展节点。

8.一种模型扩展装置,其特征在于,所述装置包括:重要性参数确定模块,用于根据第一模型的多个网络层中的多个节点的激活值以及所述激活值的梯度,确定所述多个节点的重要性参数;

待扩展节点确定模块,用于根据所述多个节点的重要性参数和所述多个网络层的预设生长比率,确定所述多个节点中的待扩展节点;

模型获得模块,用于根据所述多个网络层的待扩展节点对所述第一模型进行扩展处理,获得第二模型。

9.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。