1.一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,包括以下步骤:
对输入的视频等间距采样M帧图像,再对采样的图像缩放,得到预处理后的图像;
将预处理后的第一帧图像输入空间流CNN提取特征,得到空间流特征图;
计算第一帧光流的堆叠,将堆叠特征图输入时间流CNN提取特征,得到时间流特征图;
将空间流特征图与时间流特征图级联,然后使用三层卷积神经网络融合,得到融合后的特征图;
将融合后的特征图送入两层全连接层,得到全连接层输出结果export,然后送入softmax函数得到第一帧的单帧分类结果;
继续以上的步骤,计算剩余帧的识别结果,直到得到M帧单帧分类结果;
将M帧单帧分类结果送入双向门控单元,得到各视频抽样帧的初步分类结果ht,其中,t∈[1,M];
基于高斯加权的融合方式,将M组ht采用高斯加权融合的方式进行融合,得到视频最终分类结果,其公式如下:
其中,f(i)为高斯分布函数,output[i]表示视频最终分类结果中的第i个元素,μ是均2
值,为M/2;s为方差,此处为1,s为标准差,其值为1;
视频最终分类结果中值最大的元素所对应的行为分类标签即为最终的动作识别结果。
2.根据权利要求1所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,将预处理后的第一帧图像分解为红、绿、蓝三个通道,再将分解得到的3通道图输入至空间流CNN提取特征。
3.根据权利要求2所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,门控循环单元模型GRU的更新公式如下:rt=σ(Wr·[ht‑1,xt])zt=σ(Wz·[ht‑1,xt])上述公式可以使用ht=GRU(xt,ht‑1)表示,其中rt表示t时刻的重置门,σ表示sigmod函数;xt表示t时刻的输入,Zt表示t时刻的更新门, 表示t时刻的候选激活状态,ht表示t时刻的激活状态,即初步分类结果,ht‑1表示t时刻的隐层状态,即(t‑1)时刻的激活状态,Wr,Wz,W为权值矩阵。
4.根据权利要求3所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,双向门控循环单元BGRU由两个相反方向的单向GRU组成,BGRU在t时刻的激活状态通过前向激活状态 和逆向激活状态 加权求和得到,其计算公式为:其中wt,vt为权值矩阵,bt为偏置。最终分别得到M帧图像的ht。
5.根据权利要求4所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,使用随机梯度下降算法训练神经网络,并根据计算得到的梯度更新参数。
6.根据权利要求5所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,空间流CNN和时间流CNN分别使用vgg‑16网络。
7.根据权利要求6所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,堆叠光流的计算过程为:密集的光流视为连续帧t和t+1之间的一组位移矢量场,记第t帧中的点(u,v),第t帧的光流为It,其计算公式如下:其中u=[1;w],v=[1:m],k=[1;L],w为图像的宽度,m为图像的长度,L为帧数。
8.根据权利要求7所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,级联操作公式如下:
其中y表示级联后的特征图, 为空间流网络输出的特征图上某个位置(α,β,d),其中α表示第α行,β表示第β列,d表示第d张特征图,s表示空间, 为时间流网络输出的特征图上某个位置(α,β,d),t表示时间。
9.根据权利要求8所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,softmax函数为:
其中export表示全连接层输出结果,P表示概率,即单帧分类果,P(i)表示单帧分类结果中的第i个值;
其中,P(i)表示单帧分类结果中的第i个概率值,export[i]表示全连接层输出结果中的第i个元素,export[k]表示全连接层输出结果中的第k个元素,i,k∈[1,101],exp()表示以自然对数e为底数的指数函数。
10.根据权利要求9所述的一种基于双流卷积神经网络和双向GRU的动作识别方法,其特征在于,随机梯度下降法分为以下几步:计算输出层的梯度, 表示输出层,即第Q层,第q个节点的梯度,其计算公式如下:其中oq表示第Q层第q个节点的输出,tq表示第Q层第q个节点的标签。
计算隐含层的梯度, 表示第G个隐含层第g个节点的梯度,其计算公式如下:其中og表示第G个隐含层第g个节点的标签值, 表示第G个隐含层上一层,即第J层,第j个节点的梯度,wab表示权值矩阵第a行第b列的值。