利索能及
我要发布
收藏
专利号: 2021108597345
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型优化方法,其特征在于,包括:对当前网络模型进行预设轮数的稀疏约束训练,并依据预设阈值对训练后的第一网络模型进行裁剪,得到第一裁后模型;

对所述第一裁后模型的各层进行等比例扩充,以使扩充后的网络模型的计算量与原始网络模型的计算量一致,并对所述扩充后的网络模型进行非稀疏约束训练,得到训练后的第二网络模型;

迭代执行上述操作,直至得到的第二网络模型满足预设停止规则时,确定迭代完成;其中,所述预设停止规则包括第二网络模型各层的通道数随着迭代次数的增加的变化幅度不超过预设取值范围;迭代过程中,第一次执行上述操作时,所述当前网络模型为所述原始网络模型,非第一次执行上述操作时,所述当前网络模型为上一次得到的第二网络模型;

依据预设裁后计算量,以及迭代过程中得到的第二网络模型,确定第二裁后模型;

依据所述第二裁后模型,对所述原始网络模型进行变权重稀疏约束训练,得到所述原始网络模型对应的稀疏模型,并对所述稀疏模型进行离线裁剪。

2.根据权利要求1所述的方法,其特征在于,所述得到的第二网络模型满足预设停止规则,包括:

迭代过程中,相邻第二网络模型各层的通道数的差值满足预设停止规则。

3.根据权利要求2所述的方法,其特征在于,所述相邻第二网络模型各层的通道数的差值满足预设停止规则,包括:

连续N个第二网络模型中:

相邻第二网络模型各层的通道数的差值的平均值小于第一预设阈值;

或,

相邻第二网络模型各层的通道数的差值的绝对值的平均值小于第二预设阈值;

或,

相邻第二网络模型各层的通道数的差值的平方的平均值小于第三预设阈值;

其中,N≥2。

4.根据权利要求3所述的方法,其特征在于,所述依据预设裁后计算量,以及迭代过程中得到的第二网络模型,确定第二裁后模型,包括:依据所述连续N个第二网络模型,确定目标第二网络模型;

依据所述预设裁后计算量,以及所述目标第二网络模型,确定第二裁后模型。

5.根据权利要求4所述的方法,其特征在于,所述依据所述预设裁后计算量,以及所述目标第二网络模型,确定确定第二裁后模型,包括:依据所述预设裁后计算量,对所述目标第二网络模型进行均匀裁剪,得到所述第二裁后模型。

6.一种模型优化装置,其特征在于,包括:预训练单元,用于对当前网络模型进行预设轮数的稀疏约束训练,并依据预设阈值对训练后的第一网络模型进行裁剪,得到第一裁后模型;对所述第一裁后模型的各层进行等比例扩充,以使扩充后的网络模型的计算量与原始网络模型的计算量一致,并对所述扩充后的网络模型进行非稀疏约束训练,得到训练后的第二网络模型;迭代执行上述操作,直至得到的第二网络模型满足预设停止规则时,确定迭代完成;其中,所述预设停止规则包括第二网络模型各层的通道数随着迭代次数的增加的变化幅度不超过预设取值范围;迭代过程中,第一次执行上述操作时,所述当前网络模型为所述原始网络模型,非第一次执行上述操作时,所述当前网络模型为上一次得到的第二网络模型;

确定单元,用于依据预设裁后计算量,以及迭代过程中得到的第二网络模型,确定第二裁后模型;

处理单元,用于依据所述第二裁后模型,对所述原始网络模型进行变权重稀疏约束训练,得到所述原始网络模型对应的稀疏模型,并对所述稀疏模型进行离线裁剪。

7.根据权利要求6所述的装置,其特征在于,所述得到的第二网络模型满足预设停止规则,包括:

迭代过程中,相邻第二网络模型各层的通道数的差值满足预设停止规则。

8.根据权利要求7所述的装置,其特征在于,所述相邻第二网络模型各层的通道数的差值满足预设停止规则,包括:

连续N个第二网络模型中:

相邻第二网络模型各层的通道数的差值的平均值小于第一预设阈值;

或,

相邻第二网络模型各层的通道数的差值的绝对值的平均值小于第二预设阈值;

或,

相邻第二网络模型各层的通道数的差值的平方的平均值小于第三预设阈值;

其中,N≥2。

9.根据权利要求8所述的装置,其特征在于,所述确定单元依据预设裁后计算量,以及迭代过程中得到的第二网络模型,确定第二裁后模型,包括:依据所述连续N个第二网络模型,确定目标第二网络模型;

依据所述预设裁后计算量,以及所述目标第二网络模型,确定第二裁后模型。

10.根据权利要求9所述的装置,其特征在于,所述确定单元依据所述预设裁后计算量,以及所述目标第二网络模型,确定确定第二裁后模型,包括:依据所述预设裁后计算量,对所述目标第二网络模型进行均匀裁剪,得到所述第二裁后模型。

11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求

1‑5任一项所述的方法。

12.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1‑5任一项所述的方法。