1.一种基于随机长方体采样的微表情特征提取方法,其特征在于包括以下步骤:步骤一:对视频中每一帧图像的人脸进行对齐和规范化;
步骤二:使用空间块生成模块,检测规范化后的人脸特征点,根据特征点使用块大小因子生成空间块集合,捕获微表情的局部区域;
步骤三:使用时域片段生成模块,通过时域长度因子生成单位随机区间,映射到不同帧数的微表情时域片段集合;
步骤四:将空间块集合和时域片段集合组合成多个随机长方体,在生成的随机长方体上提取微表情的时空特征,应用支持向量机进行微表情识别;
步骤二的实现包括以下步骤:
S21:使用区域随机采样SPG进行空间块生成模块模型的建立,即:SPG(xi,yi;ρ)=Gi(ρ,Ψi),i=1,2,3;
其中,xi,yi表示随机采样得到的块左上顶点坐标,ρ表示块尺寸因子,Ψi为第i等分区域中特征点集合,Gi(ρ,Ψi)表示在第i等分限定区域生成块的点集;
S22:设输入的微表情视频片段中每一帧的图片为I=[w,h},其中,w,h分别为宽高;通过设定尺寸因子ρ,确定每个块的长宽,即ρw,ρh;为了达到整张人脸的覆盖率,空间块的数目总共为S23:使用块大小因子生成随机块集合,借助规范化后的人脸特征点,限定空间块的生成区域,将人脸区域水平三等分,在每个区域进一步使用人脸特征点限定空间块生成区域,捕获符合微表情的特征区域;
S24:在每个等分的区域中生成空间块,首先通过对应等分区域中的人脸特征点进一步缩小空间块生成区域,然后通过随机采样生成N/3个空间块,最后添加到空间块集合中;
步骤三的实现包括以下步骤:
S31:使用TSG进行时域片段生成模块模型的建立,即:TSG(ti;η)=Gi(η,1);
其中,ti表示随机采样得到的起始帧位置,η表示单位片段长度因子,Gi(η,1)表示在单位长度中随机采样第i个点;
S32:假定微表情帧长为单位长度,通过设定片段长度因子η,确定每个片段的长度,即η×1;为了与原始片段长度等长,设置片段总数为 同样的,在单位长度上采样M个点;
S33:将得到的起始帧位置以及单位片段长度映射到真实不同帧长的微表情片段上;
步骤四的实现包括以下步骤:
S41:根据空间块生成模块SPG和时域片段生成模块TSG,构建随机长方体集合Ω,如下:Ω(xi,yi,tj)=SPG(xi,yi;ρ)·TSG(tj;η);
其中.表示构建长方体操作;
S42:在每个随机长方体区域上应用时空描述子LBP‑TOP来提取微表情的特征,然后将所有随机长方体特征串联起来作为最终的特征向量,使用支持向量机训练模型,进行微表情识别。
2.根据权利要求1所述的一种基于随机长方体采样的微表情特征提取方法,其特征在于,在步骤一中,对视频中每一帧图像的人脸进行对齐和规范化的方法包括以下步骤:S11:人脸对齐;
S111:假设整个数据库为DB={v1,v2,...,vn},其中,n为微表情视频片段的个数,vj={vj,1,vj,2,...,vj,m},m代表第j个微表情片段的帧数;
S112:使用dlib软件检测每个视频片段第一帧的人脸特征点,记为Ψ,然后根据特征点对应的左右眼坐标计算变换矩阵T,计算公式如下:其中,x=(Ψ37,x+Ψ46,x)/2,y=(Ψ37,y+Ψ46,y)/2,S113:考虑到微表情片段持续时间特别短以及存在很少的头动,将每个微表情片段的第一帧的变换矩阵T,并应用到整个微表情片段,即v′j=Tj×vj;
S12:人脸规范化;
S121:对人脸区域进行裁剪以去除背景因素的影响,使用dlib检测对齐后的人脸特征点,即为Ψ;
S122:根据图像中人脸特征点的坐标计算合适的裁剪区域,对于左、右、下边界,使用脸颊和下颌特征点来限定,即Ψ1、Ψ17和Ψ9;
S123:考虑到需充分保留人脸的区域以及减少干扰因素的影响,使用Ψ30,y‑(Ψ9,y‑Ψ30,y)/1.3限定人脸上方区域;并以同样的裁剪操作应用于每个微表情片段。
3.根据权利要求2所述的一种基于随机长方体采样的微表情特征提取方法,其特征在于:每一帧所述人脸特征点的个数为68~70个。