1.一种基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于,包括以下步骤:步骤1:构建基于脉冲神经网络的核范数正则化模型FNNR,所述核范数正则化模型FNNR设置有依次连接的输入层、隐藏层和输出层,所述隐藏层设置有依次连接的特征提取模块、自适应平均池化层和第一全连接层;
步骤2:采用前置自监督任务A和主动学习任务B对所述核范数正则化模型FNNR进行训练,优化模型参数,得到训练好的核范数正则化模型FNNR;
步骤3:采集模块实时采集手势图像数据a,并传递给预处理模块;
步骤4:所述预处理模块对所述手势图像数据a进行预处理操作,得到标准图形数据b并传递给编码模块;
步骤5:所述编码模块对所述标准图形数据b进行编码,得到编码数据c,并传递给训练好的核范数正则化模型FNNR;
步骤6:训练好的所述核范数正则化模型FNNR的输入层获取所述编码数据c,并对其进行卷积操作,得到卷积数据d,并传递给特征提取模块;
步骤7:所述特征提取模块对所述卷积数据d进行特征提取操作,得到特征数据e,并传递过自适应平均池化层;
步骤8:所述自适应平均池化层对所述特征数据e进行平均池化操作,得到池化数据f,并传递给第一全连接层;
步骤9:所述第一全连接层对所述池化数据f进行全连接操作,得到全连接数据g,并传递给输出层;
步骤10:所述输出层对所述全连接数据g进行全连接操作,并输出手势识别结果h;
在所述步骤2中,所述主动学习任务B包括以下步骤:
步骤B1:计算所述核范数正则化模型FNNR在第r次训练后的损失值LOSS,并根据所述损失值LOSS设定平衡因子μ,然后通过所述平衡因子μ生成对应的子池 R是训练总次数;
步骤B2:根据第r次训练的后验概率,从子池中选择K个样本进行标记;
步骤B3:重复步骤B1‑B2,当标记样本数量达到标签预算后,即完成训练;
在所述步骤B1中,所述核范数正则化模型FNNR的损失值LOSS计算公式如下:其中,h=4,λ表示超参数,LCE为交叉熵损失,‖‖*表示计算核范数的数学符号,表示计算输出值 的核范数;θ表示旋转角度;
表示对应为标签yi的概率, 表示带标签的数据py,Θ对应为标签y的概率,py,Θ表示带标签的数据,T是脉冲序列的长度。
2.根据权利要求1所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:在所述步骤1中,所述特征提取模块设置有8个特征提取块,8个所述特征提取块结构一致,首尾依次连接;
每个所述特征提取块均设置有依次连接的第一卷积层、第一批归一化层、第一脉冲神经元层、第二卷积层、第二批归一化层、残差连接层和第二脉冲神经元层。
3.根据权利要求2所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:在所述步骤2中,所述前置自监督任务A包括以下步骤:步骤A1:采集模块获取具有N个样本的未标记的数据集X并编码,使用所述数据集X对所述核范数正则化模型FNNR进行训练;
步骤A2:在所述核范数正则化模型FNNR中计算所述数据集X中每个数据点的局部密度聚类距离δ,并根据所述局部密度聚类距离δ将所述数据集X按升序排序,得到有序数据集有序数据集XS中的第k个样本排序后表示为xk。
4.根据权利要求3所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:所述核范数正则化模型FNNR采用LIF神经元模型进行训练,所述LIF神经元模型的正向迭代公式如下:其中,l表示第l层脉冲神经网络的神经元数量,kτ表示衰减因子, 表示在时间t时第n层中的第i个神经元的膜电位, 表示在时间t时第l层脉冲神经网络中的第i个神经元的输出, 表示突触前输入,t表示时间常数,f()是激活函数;Vth是发射阈值,当神经元膜电位u超过给定阈值Vth时,神经元发出脉冲并重置膜电位为零; 表示突触权重, 是偏置,j表示任意数据点的标识;
由公式(2)可得 故所述LIF神经元模型的反向传播计算梯度公式如下:其中, 为第二个因子,表示LIF神经元的输出对膜电位求偏导; 为第一个因子,表示损失值loss对上一层神经元的输出求偏导; 为第三个因子,表示突触前输入对突触权重求偏导;LNNR表示损失值LOSS, 表示带标签的数据py,Θ对应为标签y的概率,py,Θ表示带标签的数据,T是脉冲序列的长度, 表示表示计算偏导。
5.根据权利要求4所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:所述核范数正则化模型FNNR的输出层计算公式如下:隐藏层计算公式如下:
6.根据权利要求5所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:所述隐藏层通过公式(1)‑(3)计算和更新神经元膜电位,每个所述特征提取块输出特征给输出层,最后每个神经元的发射率通过输出层被输出,表达式如下:其中, 表示对应为标签yi的概率;xi表示第i个数据点,即全连接数据g;
所述输出层计算出各种手势类别标签所对应的概率分布值,并将概率分布最大值所对应的手势类别标签作为手势识别结果h进行输出。
7.根据权利要求3所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:在所述步骤A3中,根据第一全连接层的输出结果,计算所述数据集X中每个数据点的局部密度聚类距离δ的计算过程如下:N个点的数据集X表示为 距离阈值dc的计算表达式如下:
其中,Di表示点xi与它最近邻间的距离,点xi的密度ρi的计算表达式如下:其中,dij表示xi和xj之间的欧氏距离;
对于给定的数据集 点xi的局部密度聚类距离δi的计算表达式如下:其中, 是数学符号表示任意, 表示对于任意的数据点j都满足公式(10)。
8.根据权利要求1所述的基于平衡主动学习和核范数正则化模型的手势识别方法,其特征在于:在所述步骤B1中,将所述有序数据集XS生成子池 的公式如下:其中, μ为平衡因子,L是第r次训练中的标记池,N是数据集X的图像总数,R是训练总次数,有序数据集XS中的第k个样本排序后表示为xk;
每个子池的样本个数为:
其中,μ的最小值为 每次训练至少标记K个样本;
在第一次训练中,采样器φ从已排序的未标记池XS中选择前K个数据,在第r次训练中,r>1,采样器φ选择K个最大后验概率最小的数据,由 的 计算得到,因此,新标记的数据 为其中, 为核范数正则化模型FNNR在第r‑1次训练后的输出, 是第r个子池,K是每个循环中需要标记的数据个数。