利索能及
我要发布
收藏
专利号: 2020115016775
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种模型压缩方法,其特征在于,所述方法包括:步骤A:利用预先构建的拟合器对随机噪声数据进行数据拟合操作,得到仿真数据;

步骤B:利用预设的第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值,在所述激活损失值大于预设的激活阈值时,调整所述拟合器的参数并返回上述的步骤A,直到所述激活损失值小于或等于预设的激活阈值时,将所述仿真数据输入至待压缩模型中,得到输出数据;

步骤C:利用预设的第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值,在所述稀疏损失值大于预设的稀疏阈值时,调整所述拟合器的内部参数并返回上述的步骤A,直到所述稀疏损失值小于或者等于预设的稀疏阈值时,输出所述仿真数据;

步骤D:根据所述仿真数据对所述待压缩模型进行压缩处理,得到压缩后的模型。

2.如权利要求1所述的模型压缩方法,其特征在于,所述利用预先构建的拟合器对随机噪声数据进行数据拟合操作,得到仿真数据,包括:利用所述拟合器中的长短期记忆网络对所述噪声数据进行预测,得到拟合数据集;

利用激活函数对所述拟合数据集进行压缩,得到压缩数据集;

对所述压缩数据集进行向量化处理,得到仿真数据。

3.如权利要求2所述的模型压缩方法,其特征在于,所述对所述压缩数据集进行向量化处理,得到仿真数据,包括:

利用Word2Vec算法将所述压缩数据集中的压缩数据映射为特征向量;

按照所述特征向量的序列对所述特征向量进行拼接,得到所述仿真数据。

4.如权利要求1所述的模型压缩方法,其特征在于,所述利用预设的第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值,包括:利用下述第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值:其中, 为所述激活损失值,n为所述噪声数据的样本数, 为所述仿真数据中的第m个数据,|| ||1是L1范数。

5.如权利要求1所述的模型压缩方法,其特征在于,所述利用预设的第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值,包括:利用下述第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值:其中, 为所述稀疏损失值,x为所述仿真数据的样本数, 是所述输出数据中的第m个数据, 为预设的参数, 为softmax损失函数。

6.如权利要求1至5中任意一项所述的模型压缩方法,其特征在于,所述根据所述仿真数据对所述待压缩模型进行压缩处理,得到压缩后的模型,包括:将所述仿真数据输入至预设的标准压缩模型中进行向量运算,得到所述标准压缩模型输出的第一特征,将所述仿真数据输入至所述待压缩模型中进行向量运算,得到所述待压缩模型输出的第二特征;

根据所述第一特征和所述第二特征确定所述待压缩模型的损失函数;

根据所述损失函数对所述待压缩模型进行反向传播,得到压缩后的模型。

7.如权利要求6所述的模型压缩方法,其特征在于,所述根据所述第一特征和所述第二特征确定所述待压缩模型的损失函数,包括:根据所述第一特征和所述第二特征进行求差计算,得到差值函数;

将所述差值函数进行范数转换处理并求其平方,得到损失函数。

8.一种模型压缩装置,其特征在于,所述装置包括:数据拟合模块,用于利用预先构建的拟合器对随机噪声数据进行数据拟合操作,得到仿真数据;

激活损失模块,用于利用预设的第一损失函数计算所述仿真数据和所述噪声数据之间的激活损失值,在所述激活损失值大于预设的激活阈值时,调整所述拟合器的参数,直到所述激活损失值小于或等于预设的激活阈值时,将所述仿真数据输入至待压缩模型中,得到输出数据;

稀疏损失模块,用于利用预设的第二损失函数计算所述输出数据和所述仿真数据之间的稀疏损失值,在所述稀疏损失值大于预设的稀疏阈值时,调整所述拟合器的内部参数,直到所述稀疏损失值小于或者等于预设的稀疏阈值时,输出所述仿真数据;

模型压缩模块,用于根据所述仿真数据对所述待压缩模型进行压缩处理,得到压缩后的模型。

9.一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的模型压缩方法。

10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的模型压缩方法。