利索能及
我要发布
收藏
专利号: 2020111495535
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种确定网络模型量化策略的方法,包括:

采用针对目标硬件的网络模型的量化策略搜索空间的配置信息,生成量化策略搜索空间;

采用所述量化策略搜索空间,生成量化策略编码生成器;

采用所述量化策略编码生成器,随机生成量化策略编码;

对所述量化策略编码进行解码,得到待选量化策略;

根据对应于所述待选量化策略的网络模型的量化精度损失,确定用于目标硬件的网络模型的目标量化策略;

利用所述目标量化策略对初始模型进行量化,得到目标模型,所述初始模型为应用于目标硬件上的图像处理模型。

2.根据权利要求1所述的方法,所述根据对应于所述待选量化策略的网络模型的量化精度损失,确定应用于目标硬件的目标量化策略包括:响应于待选量化策略的网络模型的量化精度损失小于预定阈值,将待选量化策略确定为用于目标硬件的目标量化策略。

3.根据权利要求1或2所述的方法,所述根据对应于所述待选量化策略的网络模型的量化精度损失,确定应用于目标硬件的目标量化策略包括:响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值,采用所述量化策略编码生成器,生成新的一组量化策略编码,并对所述新的一组量化策略编码进行解码,得到新的待选量化策略;

根据对应于所述新的待选量化策略的量化精度损失,确定用于目标硬件的目标量化策略。

4.根据权利要求1所述的方法,所述待选量化策略包括离线量化策略和在线量化策略。

5.根据权利要求1所述的方法,还包括:

获取训练样本集;

利用所述训练样本集对用于目标硬件的网络模型进行训练,得到初始模型;

利用所述目标量化策略对所述初始模型进行量化,得到目标模型。

6.根据权利要求1‑5任一项所述的方法,所述待选量化策略包括以下任意一项:16比特量化、8比特量化、4比特量化和2比特量化。

7.一种确定网络模型量化策略的装置,其特征在于,所述装置包括:量化策略搜索空间生成模块,被配置为采用针对目标硬件的网络模型的量化策略搜索空间的配置信息,生成量化策略搜索空间;

编码模块,被配置为采用所述量化策略搜索空间,生成量化策略编码生成器;

量化策略编码生成模块,被配置为采用所述量化策略编码生成器,随机生成量化策略编码;

解码模块,被配置为对所述量化策略编码进行解码,得到待选量化策略;

目标量化策略确定模块,被配置为根据对应于所述待选量化策略的网络模型的量化精度损失,确定用于目标硬件的网络模型的目标量化策略,以及利用所述目标量化策略对初始模型进行量化,得到目标模型,所述初始模型为应用于目标硬件上的图像处理模型。

8.根据权利要求7所述的装置,其中,所述目标量化策略确定模块进一步被配置成:响应于待选量化策略的网络模型的量化精度损失小于预定阈值,将待选量化策略确定为用于目标硬件的目标量化策略。

9.根据权利要求7或8所述的装置,其中,所述目标量化策略确定模块进一步被配置成:响应于所述待选量化策略的网络模型的量化精度损失大于预定阈值,采用所述量化策略编码生成器,生成新的一组量化策略编码,并对所述新的一组量化策略编码进行解码,得到新的待选量化策略;

根据对应于所述新的待选量化策略的量化精度损失,确定用于目标硬件的目标量化策略。

10.根据权利要求7所述的装置,其中,所述待选量化策略包括离线量化策略和在线量化策略。

11.根据权利要求7所述的装置,还包括:

训练样本获取模块,被配置为获取训练样本集;

初始模型训练模块,被配置为利用所述训练样本集对用于目标硬件的网络模型进行训练,得到初始模型;

初始模型量化模块,被配置为利用所述目标量化策略对所述初始模型进行量化,得到目标模型。

12.根据权利要求7‑11任一项所述的装置,所述待选量化策略包括以下至少一种:16比特量化、8比特量化、4比特量化和2比特量化。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的方法。