利索能及
我要发布
收藏
专利号: 2021110800003
申请人: 向前
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于卷积神经网络的动物识别模型建立方法,其特征在于,包括以下步骤,S1:将分组卷积引入到基于标准卷积的卷积神经网络中,构建动物识别初始模型,并使用ImageNet数据集对动物识别初始模型进行训练,得到动物识别预训练模型;

S2:使用扩增数据集对步骤S1中得到的动物识别预训练模型中的可训练参数进行训练更新,实现动物识别预训练模型的迁移学习,得到动物识别迁移模型;

S3:建立以动物识别迁移模型中各个卷积层的通道数为变量,模型在测试集上的识别率为目标的优化模型,并利用全局最优引导人工蜂群算法,对动物识别迁移模型进行剪枝,降低模型的参数量,得到动物识别剪枝模型;

S4:结合多重正则化技术,对步骤S3中得到的动物识别剪枝模型进行稀疏训练,得到动物识别稀疏模型;

S5:对步骤S4中的动物识别稀疏模型进行量化,得到最终的动物识别模型。

2.根据权利要求1所述的基于卷积神经网络的动物识别模型建立方法,其特征在于:步骤S1中所述的动物识别初始模型包括输入层、隐含层和输出层;

所述隐含层包含10个卷积层,每个卷积层的输出都采用批量归一化进行处理,之后采用ReLU函数进行激活;每两个卷积层之间使用最大池化作为上采样层,最后一个卷积层后使用平均池化作为上采样;隐含层的末尾连接一个基于全连接层的Softmax分类器。

3.根据权利要求2所述的基于卷积神经网络的动物识别模型建立方法,其特征在于:步骤S2中所述的扩增数据集包括对原始动物图像进行缩放、裁剪、翻转、旋转、移位、添加高斯噪声和色彩抖动后形成的图像集。

4.根据权利要求2所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S2的具体操作包括以下步骤,S201:将扩增数据集分为训练集和测试集;

S202:优化器参数配置;设置训练周期、每批次输入模型的样本数以及初始学习率α0,学习率上下界参数αf、梯度一阶矩估计的指数移动加权平均超参数β1,梯度二阶矩估计的指数移动加权平均超参数β2,学习率上下界调整步幅γ,常数ε;

S203:动物识别预训练模型初始化;对模型的参数θ进行初始化,将模型参数设置成近于0的随机值;

S204:使用自适应梯度下降算法对参数θ进行更新;

S205:参数每更新一次,计算当前模型在训练集和测试集上的损失函数值和准确率,以测试集准确率为性能度量,检验当前模型性能是否提升,如果提升,则将当前模型参数保存,记录测试集的最佳识别率,并将测试集最佳识别率对应的模型即为动物识别迁移模型。

5.根据权利要求4所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S204的具体操作包括以下步骤,S2041:初始化梯度的一阶矩估计m0=0和二阶矩估计v0=0;

S2042:对于第t次迭代,按照损失函数计算前向传播误差L(θt‑1);

S2043:计算第t次迭代时损失函数的梯度S2044:更新第t次迭代时的学习率S2045:计算第t次迭代时,学习率的下界S2046:计算第t次迭代时,学习率的上界S2047:更新第t次迭代时梯度的一阶矩估计mt=βt·mt‑1+(1‑βt)·gt;

S2048:更新第t次迭代时梯度的二阶矩估计S2049:更新参数

6.根据权利要求4所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S3中建立以动物识别迁移模型中各个卷积层的通道数为变量,模型在测试集上的识别率为目标的优化模型的具体操作包括以下步骤,S301:令动物识别迁移模型 中各个卷积层的卷积核组成的集合为(l) (l)

其中,W 和b 分别是卷积核的权重和偏置参数,对应通道个数组成的集合为 为动物识别迁移模型的卷积层数量;

S302:将 的子网络 包含的卷积核和通道个数组成的集合分别表示为和 且

S303:对干特定的训练集 和测试集 以确定最优的通道个数集合 为目标,使对应的子网络 在 上微调之后对 具有较高的识别正确率,从而将以动物识别迁移模型中各个卷积层的通道数为变量,模型在测试集上的识别率为目标的优化目标描述为以下规划问题:

式中,acc(·)表示子网络 在测试集 上的整体识别正确率,α∈(0.100%]为给定的百分比超参数,表示在剪枝的过程中子网络每个卷积层最多只保留模型 中对应卷积层百分比为α的通道个数;当 时,取 表示子网络的权重参数继承自原始网络。

7.根据权利要求6所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S302中子网络 的卷积核组成的集合 的计算方法包括以下步骤,S3021:令 子网络 各一维卷积层的通道数为(l)

S3022:获取原始网络中第l个一维卷积层的通道数n1=len(W );

S3023:随机产生一个一维数组A=[a1,a2,…,az],其中第i个元素ai为从区间[1,n1]内随机选取的一个正整数,同时a1≠a2≠…≠az;

S3024:将数组A中的元素从小到大排列;

S3025:令j=ai,则

8.根据权利要求6所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S3中利用全局最优引导人工蜂群算法,对动物识别迁移模型进行剪枝的具体操作包括以下步骤,

S304、初始化阶段:将剪枝模型各层的通道数视为人工蜂群的蜜源,对于第j个蜜源,在(l)

闭区间[1,αC /ρ]之间随机选取一个正整数作为第l个卷积层的通道个数 其中ρ∈(l)

(1,+∞];各个蜜源先初始化为较小的范围[1,αC /ρ],然后在搜索过程中将搜索空间扩展(l)

到[1,αC ],设置最大搜索周期数为S305、雇佣蜂阶段:使用差分进化算法的搜索公式进行搜索,式中,a≠b≠c≠j,Fl是一个与卷积层相关的缩放因子,各自独立地从期望为0.5,标准差为0.1的正太分布中随机取值,即Fl~N(0 .5,0.1);根据步骤S303中建立的目标规划问题,计算蜜源的适应度值S306、跟随蜂阶段:利用公式 通过轮盘赌选择法选择一个蜜源,使用公式 根据选择的蜜源产生新蜜源,再根据其各自的适应度值对新旧蜜源进行贪婪选择;式中, β∈(l)

(0,1),用于避免 时,Pj=0;e≠f≠j,gbestj 是当前最优蜜源的取值,缩放因子服从正太分布,即F′j~N(0.0,2.0);

S307、侦察蜂阶段:若蜜源 经过Ψ次搜索之后仍未在邻域内找到比它更优的蜜源,则按照初始化阶段的方法随机生成一个蜜源代替S308、重复步骤S305~S307直至完成 个周期的搜索,根据步骤S303中建立的目标规划问题,计算所有蜜源的适应度值,并将适应度最大的蜜源对应的子网络作为最终的动物识别剪枝模型。

9.根据权利要求6所述的基于卷积神经网络的动物识别模型建立方法,其特征在于,步骤S5的具体操作包括以下步骤,S501:采用动态8位量化方法对动物识别稀疏模型的32位浮点型参数值进行量化;

S502:在网络训练时,使用指数滑动平均计算各参数取值的最大值Rmax和最小值Rmin,判断参数的取值是有符号还是无符号的浮点型;

S503:对于有符号的浮点型,将其量化到整型区间[‑128,+127],对于无符号浮点型,则量化到整数区间[0,255];

S504:对于无符号浮点型参数值,其对应的整型数长度为Il=log2(|Rmax|);对于有符号浮点型参数值,其对应的整型数长度为Il=log2(max(|Rmin|,|Rmax|))+1;

S505:计算分子长度Fl=8‑Il,则该浮点数的量化乘积因子为S506:将浮点型参数值W与量化乘积因子Mq相乘,再将其值裁剪到合适的无符号或有符号的整型范围内,对于无符号浮点型,其量化值为Wq=clip(round(W*Mq),0,255),对于有符号浮点型,其量化值为Wq=clip(round(W*Mq),‑128,+127)。

10.一种基于卷积神经网络的动物识别模型的应用系统,其特征在于:所述应用系统包括处理器、视频采集模块、识别处理模块、触控屏显示控制模块和网络通信模块;所述动物识别模型嵌入式设置在所述识别处理模块中,所述视频采集模块、识别处理模块、触控屏显示控制模块和网络通信模块均与所述处理器连接;

所述视频采集模块主要负责实时视频采集;

所述识别处理模块对所述视频采集模块提供的视频流进行动物种类的实时识别;

所述触控屏显示控制模块主要负责人机交互,其功能包括实现触摸控制程序打开和关闭,显示实时识别结果;

所述网络通信模块提供所述动物识别系统与其他外接设备之间的通信。