利索能及
我要发布
收藏
专利号: 2019106839304
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据块的处理方法,其特征在于,所述方法应用于运行设备,所述运行设备包括神经网络模型,所述神经网络模型用于进行图像识别或语音识别,所述运行设备对定点型数据进行元素级操作的运算复杂度低于对浮点型数据进行元素级操作的运算复杂度,包括:对所述神经网络模型中的元素级操作层进行改进,使所述元素级操作层能够对定点型数据进行处理,所述元素级操作层用于对两个或两个以上同等尺寸的数据块进行逐元素(同位置)计算;

通过所述神经网络模型中的元素级操作层,获取所述元素级操作层的上一级网络层输入的多个数据块,所述多个数据块中的数据的数据类型均为定点型数据,所述运行设备以低比特位缓存数据类型为定点型数据的所述多个数据块;

通过所述元素级操作层,获取所述多个数据块中每个数据块的各个通道对应的补偿系数,所述补偿系数是指用于对数据范围进行缩放的比例系数,所述每个数据块的各个通道对应的补偿系数分别用于对所述每个数据块的各个通道上的数据的数据范围差异进行补偿;

通过所述元素级操作层,基于所述多个数据块中每个数据块的各个通道对应的补偿系数,将所述多个数据块转换成多个补偿数据块,所述多个补偿数据块中的数据均为定点型数据,且所述多个补偿数据块的数据精度相同;

通过所述元素级操作层,对定点型数据的所述多个补偿数据块进行元素级操作,得到元素级操作结果;

其中,所述基于所述多个数据块中每个数据块的各个通道对应的补偿系数,将所述多个数据块转换成多个补偿数据块,包括:将所述多个数据块中每个数据块的各个通道上的数据,分别与各个通道对应的补偿系数进行相乘,得到多个补偿数据块;或者,将所述多个数据块中每个数据块的各个通道上的数据,分别与各个通道对应的补偿系数进行相乘,并对相乘结果进行取整处理,得到多个补偿数据块。

2.如权利要求1所述的方法,其特征在于,所述对所述多个补偿数据块进行元素级操作,得到元素级操作结果,包括:对所述多个补偿数据块进行相加或相乘,得到所述元素级操作结果;或者,对所述多个补偿数据块进行相加或相乘,得到第一操作结果,将所述第一操作结果与偏置系数进行相加,得到所述元素级操作结果。

3.如权利要求1所述的方法,其特征在于,所述对所述多个补偿数据块进行元素级操作,得到元素级操作结果之后,还包括:通过所述元素级操作层,对所述元素级操作结果进行量化,得到输出数据,所述输出数据占据的比特宽度为预设比特宽度;

通过所述元素级操作层,将所述输出数据输出给所述元素级操作层的下一个网络层。

4.如权利要求1‑3任一所述的方法,其特征在于,所述获取所述多个数据块中每个数据块的各个通道对应的补偿系数,包括:对于所述多个数据块中的目标数据块,从已存储的模型数据中,获取所述目标数据块的各个通道对应的补偿系数,所述目标数据块为所述多个数据块中的任一数据块;或者,从所述元素级操作层的输入数据中,获取所述目标数据块的各个通道对应的补偿系数。

5.一种数据块的处理装置,其特征在于,所述装置应用于运行设备,所述运行设备包括神经网络模型,所述神经网络模型用于进行图像识别或语音识别,所述运行设备对定点型数据进行元素级操作的运算复杂度低于对浮点型数据进行元素级操作的运算复杂度,包括:所述装置,用于对所述神经网络模型中的元素级操作层进行改进,使所述元素级操作层能够对定点型数据进行处理,所述元素级操作层用于对两个或两个以上同等尺寸的数据块进行逐元素(同位置)计算;

第一获取模块,用于通过所述神经网络模型中的元素级操作层,获取所述元素级操作层的上一级网络层输入的多个数据块,所述多个数据块中的数据的数据类型均为定点型数据,所述运行设备以低比特位缓存数据类型为定点型数据的所述多个数据块;

第二获取模块,用于通过所述元素级操作层,获取所述多个数据块中每个数据块的各个通道对应的补偿系数,所述补偿系数是指用于对数据范围进行缩放的比例系数,所述每个数据块的各个通道对应的补偿系数分别用于对所述每个数据块的各个通道上的数据的数据范围差异进行补偿;

补偿模块,用于通过所述元素级操作层,基于所述多个数据块中每个数据块的各个通道对应的补偿系数,将所述多个数据块转换成多个补偿数据块,所述多个补偿数据块中的数据均为定点型数据,且所述多个补偿数据块的数据精度相同;

操作模块,用于通过所述元素级操作层,对定点型数据的所述多个补偿数据块进行元素级操作,得到元素级操作结果;

其中,所述补偿模块用于:

将所述多个数据块中每个数据块的各个通道上的数据,分别与各个通道对应的补偿系数进行相乘,得到多个补偿数据块;或者,将所述多个数据块中每个数据块的各个通道上的数据,分别与各个通道对应的补偿系数进行相乘,并对相乘结果进行取整处理,得到多个补偿数据块。

6.如权利要求5所述的装置,其特征在于,所述操作模块用于:

对所述多个补偿数据块进行相加或相乘,得到所述元素级操作结果;或者,对所述多个补偿数据块进行相加或相乘,得到第一操作结果,将所述第一操作结果与偏置系数进行相加,得到所述元素级操作结果。

7.如权利要求5所述的装置,其特征在于,所述装置还包括:

量化模块,用于通过所述元素级操作层,对所述元素级操作结果进行量化,得到输出数据,所述输出数据占据的比特宽度为预设比特宽度;

输出模块,用于通过所述元素级操作层,将所述输出数据输出给所述元素级操作层的下一个网络层。

8.如权利要求5‑7任一所述的装置,其特征在于,所述获取模块用于:

对于所述多个数据块中的目标数据块,从已存储的模型数据中,获取所述目标数据块的各个通道对应的补偿系数,所述目标数据块为所述多个数据块中的任一数据块;或者,从所述元素级操作层的输入数据中,获取所述目标数据块的各个通道对应的补偿系数。

9.一种计算机设备,其特征在于,所述计算机设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的计算机程序,以实现权利要求1‑4任一所述方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑4任一所述方法的步骤。