1.一种时空域信息融合随机森林的微表情检测方法,其特征在于,包括以下步骤:S1:通过人脸跟踪检测,完成输入视频序列预处理;
S2:使用所提出的特征空间表示整个视频序列,由呈现为金字塔式层级的二维子区域表征的统一局部二进制模式来表示;
S3:采用改进的增强方式融合时空域信息作为随机森林源对象;
S4:使用基于随机森林的嵌入式特征选择方法来选择最具区别性的特征;
S5:基于时空域信息融合随机森林算法构建微表情分类器。
2.根据权利要求1所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S1包括如下子步骤:
S11:将微表情数据库进行空域和时域分割;随后通过人脸跟踪检测,针对空域部分通过FAC接口实现人脸定位、通过Dlib工具进行人脸配准、并对图像帧序列进行ROI裁剪;同时进行降噪处理;
S12:对所有图像帧序列进行归一化处理,并对时域区间的时间标尺运用时域插值模型TIM进行标准化处理;通过归一化和标准化处理,将全部图像帧序列整合处理后再作为训练网络的输入;
S13:进行TVL光流计算,获取到微表情的光流序列,以此作为网络的二次输入;对光流T
进行水平和垂直分量表示,光流向量表示形式为:K=[m,n] , 其中m与n分别为水平和垂直光流分量,dv和dw表示沿着水平和垂直维度的像素渐变情况,dt为时域长度的跨度情况。
3.根据权利要求1所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S2包括如下子步骤:
S21:将每一个视频序列分解为子区域,并且按照金字塔式层级分解为不同尺寸;引入以视频序列帧为符号的三维像素矩阵的金字塔式表征,其中在空间向量中包括了金字塔式指征的指标水平;
S22:通过二维子区域表征方式将三维矩阵降维为二维图像,通过抽取每一帧的第一行并给它打上二维标签,继而以此为标准对后续视频帧做二维化处理;
S23:计算每一张二维图像的二维子区域LBP特征值,并且需要进行水平最终端点X和垂直最终端点Y的同步调节,表达式为 以及其中,Height和Length分别表示视频序列帧的高度和宽度;
S24:将每一个水平的二维子区域LBP直方图建立起联系,按照金字塔式水平决定LBP特征空间尺寸的优先级。
4.根据权利要求3所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S23中,计算每一张二维图像的二维子区域LBP特征值的过程中设定领域像素每一次的单位跳转值和跳转半径单位值。
5.根据权利要求1所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S3包括如下子步骤:
S31:对象参数初始化及参数定义,其中,S:改进增强后的源对象;IS:空域对象信息;IT:时域对象信息;HS1:空域对象一次融合处理;HS2:空域对象二次融合处理;HT1:时域对象一次融合处理;HT2:时域对象二次融合处理;Mf:融合微表情信息帧;f:微表情信息帧;一次融合微表情信息帧MfS1、MfT1;二次融合微表情信息帧MfS2、MfT2;
S=IS∪IT
HS1={MfS1,fS1}
HS2={MfS2,fS2}
HT1={MfT1,fT1}
HT2={MfT2,fT2}
S32:以改进的增强方式融合时空域信息作为随机森林源对象处理,对时域对象及空域对象进行一次融合处理及二次融合处理,如果时域与空域信息在指定帧相交向量大于帧向量本身,则对处理结果进行增强融合处理,具体包括:当时域与空域信息在指定帧相交向量大于第i帧指定的帧向量Ii本身,且帧向量本身不为0时,则通过以下公式对第i帧信息的时空域对象进行一次信息提取及二次信息提取均值的融合处理:
Mix fi=(fi1+fi2)/2当第i帧信息的融合处理结果与其第一次提取信息之差的绝对值大于与其第二次提取信息之差的绝对值,则通过以下公式进行融合处理和增强融合处理:Handle(HS1,HS2)Handle(HT1,HT2)其中,融合处理及增强融合处理定义如下:
6.根据权利要求1所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S4包括如下子步骤:
S41:通过二叉树方式产生一个分类森林,并对嵌入式对象相应的特征矩阵进行设置,从每一个分离的节点中随机选择数量不等的特征创建树节点;
S42:以S32中获得的基于改进的增强方式融合的时空域信息作为S41建立的分类森林的源输入对象,并为每一个特征计算重要性权值,对每一棵树都假设相应特征矩阵的预测错误;同时对特征矩阵的首行进行随机的序列改变,假设预测错误会在修改过的特征矩阵中再现;序列改变操作在二叉树分类过程中重复直至所有特征行均被逐一处理,并按照获得的重要性权值组成随机森林的嵌入式特征序列;
S43:选取关联的由最优随机森林分类器产生的鉴别特征;首先定义一个二叉分类树,它与以下特征相关联:具备首要最高重要权值的特征,以及具备次要高权值的特征;首要权重特征与次要权重特征相互关联,再与第三级权重特征相连接,以此类推;由此为每一个训练视频序列所关联的特征建立并产生了一个随机森林分类器;采用最佳关联最大准确率和最小准确率特征,这种关联代表了序列和节点的选择。
7.根据权利要求1所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S5包括以下子步骤:
S51:通过标准随机森林算法建立随机森林分类器,准确地算出森林中每一个训练视频序列树的索引叶节点,由此得出一个叶节点矩阵;
S52:针对测试视频序列,算出森林中每棵树的索引叶节点,由此得到一个待测森林节点向量组;
S53:计算待测视频序列与标准训练视频序列之间的近似测量偏差值,该偏差值作为预测训练视频序列和测试视频序列分类所共用的树叶节点的数量;
S54:基于向量近似测量值预测测试视频序列分类,如果相应的近似测量值与向量计算得到的最大值接近,则一个测试视频序列被认为与训练视频序列相类似;测试视频序列作为具有最大权值的分类;过程中如果发现存在面部表情具有最大权值,将其视作随机产生;
用面部表情权值代替面部表情数量。
8.根据权利要求7所述的时空域信息融合随机森林的微表情检测方法,其特征在于,所述步骤S53中使用Kronecker delta函数等式定义待测视频序列与训练视频序列之间的近似测量偏差值。