1.一种基于3D卷积神经网络的微表情识别方法,其特征在于,包括如下步骤:
步骤001、针对待识别微表情图像序列中的各帧图像进行像素尺寸归一化处理;
步骤002、分别针对待识别微表情图像序列中的各帧图像,提取灰度通道特征图、水平方向梯度通道特征图、竖直方向梯度通道特征图、水平方向光流通道特征图、竖直方向光流通道特征图,即获得待识别微表情图像序列所对应的一个特征图组;
步骤003、采用预设N1个不同种类、彼此大小相同的3D卷积核,针对特征图组分别进行卷积操作,获得N1个特征图组,其中,3D卷积核对应于空间维和时间维;
步骤004、针对N1个特征图组中的各张特征图,分别采用第一预设水平方向与竖直方向等比例的采样窗口进行降维处理,更新N1个特征图组中各张特征图的像素尺寸;
步骤005、分别针对N1个特征图组,分别采用预设N2个不同种类、彼此大小相同的3D卷积核进行卷积操作,获得N1*N2个特征图组,其中,3D卷积核对应于空间维和时间维;
步骤006、针对N1*N2个特征图组中的各张特征图,分别采用第二预设水平方向与竖直方向等比例的采样窗口进行降维处理,更新N1*N2个特征图组中各张特征图的像素尺寸;
步骤007、分别针对N1*N2个特征图组,分别采用1个预设种类、大小与特征图像素尺寸相同的2D卷积核进行空间维的卷积操作,更新N1*N2个特征图组;
步骤008、获得N1*N2个特征图组所对应的各个特征向量;
步骤009、采用神经网络技术针对各个特征向量进行分类处理,其中,选取最多特征向量所对应的神经元,获得该神经元所对应的微表情分类,即为待识别微表情图像序列所对应的微表情识别结果。
2.根据权利要求1所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:基于
3D卷积神经网络模型实现所述微表情识别方法,3D卷积神经网络模型由输入端开始依次包括硬连线层H1、卷积层C1、下采样层S1、卷积层C2、下采样层S2、卷积层C3、全连接层、分类层;执行完步骤001之后,采用3D卷积神经网络模型针对所述待识别微表情图像序列中的各帧图像进行操作,其中,由硬连线层H1执行所述步骤002,卷积层C1执行所述步骤003,下采样层S1执行所述步骤004,卷积层C2执行所述步骤005,下采样层S2执行所述步骤006,卷积层C3执行所述步骤007,全连接层执行所述步骤008,分类层执行所述步骤009。
3.根据权利要求2所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:采用预设模型训练方法针对所述3D卷积神经网络模型的模型参数进行训练,在执行完所述步骤
001之后,采用训练后的3D卷积神经网络模型,针对所述待识别微表情图像序列中的各帧图像执行所述步骤002至步骤009。
4.根据权利要求3所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:所述预设模型训练方法为随机diagonal Levenberg-Marquardt优化方法针对所述3D卷积神经网络模型的模型参数进行训练。
5.根据权利要求2所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:所述卷积层C1按如下公式,执行所述步骤003,其中,(x,y,z)C1,j表示卷积层C1第j个特征图上任意一个像素点的像素值, 表示硬连线层H1第j个特征图经卷积层C1进行3D卷积后的输出, 表示卷积层C1针对第j个特征图进行卷积的3D卷积核,(P-1,Q-1,R-1)C1,j表示卷积层C1对应第j个特征图的3D卷积核的大小,bC1,j表示卷积层C1对应第j个特征图的加性偏置,f(·)表示激活函数,表示硬连线层H1第j个特征图上任意一点;
所述卷积层C2按如下公式,执行所述步骤005,
其中,(x,y,z)C2,i表示卷积层C2第i个特征图上任意一个像素点的像素值, 表示下采样层S1第i个特征图经卷积层C2进行3D卷积后的输出, 表示卷积层C2针对第i个特征图进行卷积的3D卷积核,(P-1,Q-1,R-1)C2,i表示卷积层C2对应第i个特征图的3D卷积核的大小,bC2,i表示卷积层C2对应第i个特征图的加性偏置,f(·)表示激活函数,表示下采样层S1第i个特征图上任意一点。
6.根据权利要求2所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:所述下采样层S1按如下公式,执行所述步骤004,vS1,m=f(αS1,mdown1(vC1,m)+βS1,m)
其中,vS1,m表示下采样层S1针对卷积层C1第m个特征图进行降维处理所得的特征图,vC1,m表示卷积层C1的第m个特征图,down1(·)表示下采样层S1函数,αS1,m和βS1,m分别表示下采样层S1对应第m个特征图的乘性偏置和加性偏置,f(·)表示激活函数;
所述下采样层S2按如下公式,执行所述步骤006,
vS2,n=f(αS2,ndown2(vC2,n)+βS2,n)
其中,vS2,n表示下采样层S2针对卷积层C2第n个特征图进行下采样所得的特征图,vC2,n表示卷积层C2的第n个特征图,down2(·)表示下采样层S2函数,αS2,n和βS2,n分别表示下采样层S2对应第n个特征图的乘性偏置和加性偏置,f(·)表示激活函数。
7.根据权利要求2所述一种基于3D卷积神经网络的微表情识别方法,其特征在于:所述卷积层C3按如下公式,执行所述步骤007,其中,(x,y)C3,k表示卷积层C3第k个特征图上任意一个像素点的像素值, 表示下采样层S2第k个特征图经卷积层C3进行2D卷积后的输出, 表示卷积层C3针对第k个特征图进行卷积的2D卷积核,(P-1,Q-1)C3,k表示卷积层C3对应第k个特征图的2D卷积核的大小,bC3,k表示卷积层C3对应第k个特征图的加性偏置,f(·)表示激活函数,表示下采样层S2第k个特征图上任意一点。