利索能及
我要发布
收藏
专利号: 2020113955317
申请人: 深圳信息职业技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种神经网络剪枝方法,其特征在于,包括:

基于待剪枝神经网络的卷积层根据样本图像输出的n组像素信息,确定所述样本图像的关键区域;其中,所述卷积层包含n个特征图通道,每个特征图通道输出一个特征图,且n为大于0的整数;

基于所述关键区域和预设剪枝概率确定目标特征图,并根据所述目标特征图确定目标通道;

对所述目标通道和目标滤波器进行剪枝处理,得到剪枝后的神经网络;其中,所述目标滤波器为所述待剪枝神经网络中与所述目标通道对应的滤波器;

每组像素信息用于描述对应的特征图中各个位置的像素值;所述基于待剪枝神经网络的卷积层根据样本图像输出的n组像素信息,确定所述样本图像的关键区域,包括:根据n组所述像素信息确定所述样本图像中各个位置的n个像素值;

根据所述各个位置的n个像素值确定所述样本图像中各个位置的第一像素平均值;

根据各个位置的所述第一像素平均值确定所述样本图像的关键区域;

所述根据各个位置的所述第一像素平均值确定所述样本图像的关键区域,包括:对所述第一像素平均值求和,并根据求和结果计算所述样本图像的第二像素平均值;

若检测到所述第一像素平均值大于或等于所述第二像素平均值,则确定所述第一像素平均值对应的位置为所述关键区域;

所述第二像素平均值根据以下公式确定:

其中, 表示所述第二像素平均值, 表示所述样本图像中第i个位置的第一像素平均值,N表示所述第一像素平均值的个数;

所述基于所述关键区域和预设剪枝概率确定目标特征图,并根据所述目标特征图确定目标通道,包括:根据所述关键区域确定所述卷积层中每组像素信息对应的特征图的第一能量,并根据所述预设剪枝概率和所述卷积层的预设特征图通道数确定目标特征图的第一数目;

将所述第一能量按照从小到大的顺序排在前所述第一数目的所述特征图确定为所述目标特征图,并根据所述目标特征图确定所述目标通道。

2.如权利要求1所述的神经网络剪枝方法,其特征在于,所述每个特征图的第一能量根据以下公式计算得到:j j

其中,A表示所述关键区域,F表示第j个特征图,E表示所述第j个特征图的第一能量,Θ表示Hadamard积, 表示L2范数。

3.一种模型生成方法,其特征在于,所述方法包括:获取与剪枝后的神经网络对应的训练集;其中,所述剪枝后的神经网络是利用权利要求1至2任一项所述的神经网络剪枝方法,对待剪枝神经网络进行剪枝处理得到;

利用所述训练集对剪枝后的神经网络进行迭代训练,生成目标模型。

4.一种神经网络剪枝装置,其特征在于,包括:

第一确定单元,用于基于待剪枝神经网络的卷积层根据样本图像输出的n组像素信息,确定所述样本图像的关键区域;其中,所述卷积层包含n个特征图通道,每个特征图通道输出一个特征图,一个特征图对应一组像素信息,且n为大于0的整数;

第二确定单元,用于基于所述关键区域和预设剪枝概率确定目标特征图,并根据所述目标特征图确定目标通道;

剪枝单元,用于对所述目标通道和目标滤波器进行剪枝处理,得到剪枝后的神经网络;

其中,所述目标滤波器为所述待剪枝神经网络中与所述目标通道对应的滤波器;

每组像素信息用于描述对应的特征图中各个位置的像素值;所述第一确定单元还包括:第三确定单元,用于根据n组所述像素信息确定所述样本图像中各个位置的n个像素值;

第四确定单元,用于根据所述各个位置的n个像素值确定所述样本图像中各个位置的第一像素平均值;

第五确定单元,用于根据各个位置的所述第一像素平均值确定所述样本图像的关键区域;

所述第五确定单元具体包括:

计算单元,用于对所述第一像素平均值求和,并根据求和结果计算所述样本图像的第二像素平均值;

第六确定单元,用于若检测到所述第一像素平均值大于或等于所述第二像素平均值,则确定所述第一像素平均值对应的位置为所述关键区域;

所述第二像素平均值根据以下公式确定:

其中, 表示所述第二像素平均值, 表示所述样本图像中第i个位置的第一像素平均值,N表示所述第一像素平均值的个数;

所述第二确定单元具体包括:

第七确定单元,用于根据所述关键区域确定所述卷积层中每组像素信息对应的特征图的第一能量,并根据所述预设剪枝概率和所述卷积层的预设特征图通道数确定目标特征图的第一数目;

第八确定单元,用于将所述第一能量按照从小到大的顺序排在前所述第一数目的所述特征图确定为所述目标特征图,并根据所述目标特征图确定所述目标通道。

5.一种模型生成装置,其特征在于,包括:

获取单元,用于获取与剪枝后的神经网络对应的训练集;其中,所述剪枝后的神经网络是利用权利要求1至2任一项所述的神经网络剪枝方法,对待剪枝神经网络进行剪枝处理得到;

生成单元,用于利用所述训练集对剪枝后的神经网络进行迭代训练,生成目标模型。