利索能及
我要发布
收藏
专利号: 2019103841162
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,包括以下步骤:

步骤1)输入视频帧序列,动作库中的每个单独的动作检测器通过体积最大池化将相关视频体积转化为73维响应向量;使用尺寸为p的动作库为其生成p*73的动作库特征,所述动作库是一种新的视频动作的高级表示,它将视频嵌入到由各种动作检测器组成的动作空间,尺寸为p指包含p个动作检测器;

步骤2)通过p个动作检测器检测相似动作之间的特征,检测视频中的时空兴趣点并提取局部时空特征,所述时空兴趣点是像素值在时空邻域变化较大的点,且其局部邻域包含丰富图像信息,所述局部时空特征不易受衣着、光照、运动特性等影响;

步骤3)输入动作库特征和局部时空特征,提取深度卷积特征,通过1个CNN分类器对特征分类;初始化完全连接的网络并训练CNN;

步骤4)利用梯度下降算法减少GWO算法需要搜索的候选者数量加速搜索过程,GWO算法通过搜索不同的权重初始化集合确定更接近全局的局部最优,为多个CNN分类器分配最佳权重;

步骤5)将生成的动作库特征和局部时空特征馈送到CNN分类器,CNN分类器的输出以二进制方式解码为(w1,w2,…wc),接着CNN分类器的初步训练通过输出wr=1和ws=0完成,为正整数;然后通过输出wr=1和ws=1执行分类器的训练;其中,r表示受观察的类,c表示类的数量;多个分类器的分类结果利用最大规则的融合函数进行融合;即若融合模型共中第ith个分类器包含输出w1i,w2i,...,wci(i=1,2,...m),m是分类器总数,则第jth融合模型的输出即为Mj=max{wj1,wj2,...,wjn}(j=1,2,…n),n是融合模型总数。

2.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,所述步骤3)具体如下:步骤31)输入动作库初始R个元素和视频帧中移动动作的兴趣点,初始的卷积层使用水平线性,尺寸为m0*n0的卷积掩模进行特征提取;使用k0个实数参与对GWO框架适应度评估;

对GWO群体初始化,利用初始的k0-1个实数编码卷积掩模,最后1个实数作为随机数生成器的种子值;通过解码搜索确定候选者(α0,β0,δ0)的适应度得分;R是输入元素总数,m0,n0分别是卷积掩模这一二维矩阵的行数、列数,k0是参与评估GWO框架适应程度的实数总数;

步骤32)使用尺寸为1*2的子样本掩模最小化采样过程中数据丢失;

步骤33)重复步骤31)和32),使用相同的卷积掩模提取特征,同时计算GWO框架适应度,子样本掩模压缩数据并提取主要特征,最终提取深度卷积特征;

步骤34)利用卷积层掩模相关的权重作为特征标识符,随机数发生器生成种子,两者结合初始化完全连接的神经网络,将提取的深度卷积特征作为完全连接网络的输入训练CNN确定初步动作标签。

3.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,所述步骤4)具体如下:步骤41)CNN分类器通过反向传播算法训练,忽略有限数量的过度拟合数据;再通过梯度下降算法,检测陷入局部最小值的解;

步骤42)初始化灰狼种群搜索空间,初始化N,D,t,pently等参数以及灰狼群体X=(X1,X2,…,XN),每个灰狼的位置Xi=(xi1,xi2,…,xiD)T,(i=1,2,…,N)在分散的狼群中不断转移注意直至检测到猎物后狼群合并;N是灰狼总数,D是灰狼与猎物之间的距离,t是迭代次数,pently是罚函数;

步骤43)计算每个灰狼群体的适应度值fk,将适应度值排列前三的灰狼个体的位置分别记为Xα,Xβ,Xδ,并将适应度最好的Xα记为最优解;对确定位置的猎物进行包围,包围特征用数学方式描述;在此过程中猎物与灰狼的距离为D=|C·Xp(t)-X(t)|,X(t+1)=Xp(t)-A·D,其中D为灰狼与猎物之间的距离,t为迭代次数,Xp(t)为第t次迭代后猎物的位置,即最优解的位置;X(t)为第t次迭代后灰狼的位置,即潜在解的位置;A和C为系数因子,其计算公式为A=2a·r1-a,C=2·r2;其中a随着迭代次数的增加从2到0呈线性递减,r1,r2为[0,1]之间的随机数;

步骤44)β、δ狼在α狼带领下对猎物进行追捕,在追捕过程中狼群个体的位置会随猎物的逃跑而改变,根据α,β,δ更新后的位置重新确定猎物,即最优解的位置,更新方程为其中Dα,Dβ,Dδ分别表示α,β,δ狼与其他个体之间的距离;

步骤45)对于D维空间灰狼u的位置为Xu=(xu1,xu2,…,xuD)T,灰狼v的位置为Xv=(xv1,Txv2,…xvD) ,则灰狼u与灰狼v之间的欧式距离为duv=||Xu-Xv||(u,v=1,2,…,N),给出指定参数σshare为小生境半径,如果duv<σshare,比较灰狼u与灰狼v之间的适应度值fu,fv的大小,并对其中适应度值较小的灰狼施以罚函数,即min(fu,fv)=penalty;其中penalty函数的处罚力度由所求函数解值的大小决定;

步骤46)狼群对猎物进行攻击并捕获猎物,即得到最优解;通过式A=2a·r1-a中a值从2到0的线性递减使狼群更加接近猎物,按照式A=2a·r1-a,C=2·r2更新参数a,A,C的值;

步骤47)若算法达到最大迭代次数t,那么算法结束并输出最优解Xα作为CNN分类器的初始权重;否则,返回步骤42)。

4.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,所述步骤1),步骤2)中,p按照经验取10。

5.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,所述步骤31)中,R按照经验取72,m0按照经验取1,n0按照经验取21,k0按照经验取64。

6.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法,其特征在于,所述步骤42)中,N按照经验取12,t按照经验取1,penalty按照经验选择外罚函数法。