1.一种微表情发生检测方法,包括有刺激诱发微表情之前步骤和刺激诱发微表情之后步骤,刺激诱发微表情之前记录被测试者的常态脑电数据和常态面部视频数据,其特征在于,刺激诱发微表情之后包括以下步骤:
1)刺激诱发微表情,记录脑电数据和面部视频数据;
2)为每一段脑电数据和每一帧面部视频数据均标记时间戳数据,匹配生成脑电时间数据和面部视频时间数据;
3)处理脑电数据、脑电时间数据、面部视频数据和面部视频时间数据,获得通过脑电数据和脑电时间数据判断的脑电微表情发生时刻Tsm,获得通过面部视频数据和面部视频时间数据判断的面部表情变化的起止帧和顶帧;
4)根据步骤3)处理后的脑电判定微表情发生时刻Tsm、面部表情变化的起止帧和顶帧,判定微表情是否发生;
步骤3)中所述处理脑电数据和脑电时间数据的具体步骤如下:
3‑1)以常态脑电数据作为基线数据,计算常态时左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26的常态Gamma波段的功率谱密度PSD常态值,功率谱密度表示单位频率波携带的功率,PSD常态值计算公式为 X(k)表示长度为N的序列的傅里叶变换,k表示频率;
3‑2)针对脑电时间数据,设置滑动窗时长为W=2s,以2*(1/fs)为滑动时间,fs为脑电采样频率;计算2s滑动窗内左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26在Gamma频段的PSD滑动窗时长值,并与对应通道的常态PSD值进行比较;若左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26中任何一个通道PSD值高于常态PSD值,则假设脑电数据发生变化,转向步骤3‑3);左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26中任何一个通道PSD值低于常态平均PSD值的情况不做处理,认定脑电数据未发生变化;
3‑3)取假设脑电数据发生变化的滑动窗时长W=2s内的数据,首先计算这2s内的能量值E,能量公式为 其中x(n)为信号幅度,N为数据长度,即2s的数据,取能量值均值为门限值G:G=1/2*E;将能量值E与门限值G相比,若E>G,且5ms以内给定采样点En均能持续达到门限值E1...En>G,则初步认为Tn是反应起点时刻Ts;同时,设置对比门限值PR,公式为 计算起点Ts 之前n个采样点的对比值PRn与前n‑1个采样点的对比值PRn‑1,若|PRn‑PRn‑1|=0则认为第一个采样点PRn对应的时刻为反应起点Ts;若反应起点Ts成功找到,则转向步骤3‑4);若反应起点Ts未成功找到,则返回步骤3‑2);
3‑4)在反应起点Ts时刻,分别取左侧颞叶通道D23、右侧颞叶通道A09、前额叶通道B26的脑区通道起始时刻Ts,若时刻TsD23‑TsB26>0或TsD23‑TsA09>0,且必须满足 则记录该时刻点,即微脑电表情发生时刻Tsm;若不满足条件,则返回步骤3‑2);
3‑5)获得脑电数据下的脑电微表情发生时刻Tsm。
2.如权利要求1所述的一种微表情发生检测方法,其特征在于,记录被测试者的常态脑电数据、常态面部视频数据,步骤1)中记录脑电数据和面部视频数据的具体方法为:通过使用BiosemiActive系统从128个电极记录以1024Hz采样率获取、记录常态脑电数据和脑电数据;通过BiosemiActive系统的高速摄像机以每秒80帧的速度获取、记录常态面部视频数据和面部视频数据。
3.如权利要求1所述的一种微表情发生检测方法,其特征在于,步骤2)中所述为每一段脑电数据和每一帧面部视频数据均标记时间戳数据的具体方法为:利用Biosemi Active系统的时间同步模块,使时间同步模块中的时间戳数据同步传送至Biosemi Active系统的脑电采集模块和高速摄像机采集模块,使得脑电采集模块获取的每一段脑电数据和高速摄像机获取的每一帧面部视频数据均包含同步的时间戳数据,即生成脑电时间数据和面部视频时间数据。
4.如权利要求1所述的一种微表情发生检测方法,其特征在于,步骤3)中所述处理面部视频数据和面部视频时间数据的具体步骤为:
3‑6)对人脸进行检测,从每一帧的原始图像中检测出人脸的具体位置;
3‑7)对人脸视频采集中的人脸进行人脸对齐和面部基准点定位;根据输入的人脸图像,采用CLM局部约束模型自动定位出面部关键特点;
3‑8)提取基于形变的表情特征:利用CLM对面部特征点的标注,获取到面部基准点坐标后,计算这些面部基准点之间的相关斜率信息,提取基于形变的表情特征;同时对三个区域内的关键点进行追踪,提取相应位移信息,并提取表情图片的特定特征点之间的距离信息,将距离与平静图片相减,得到距离的变化信息,提取出基于运动的表情特征;
3‑9)根据面部特征数据提取结果,得到起止帧和顶帧;其中,通过比较特征点之间的距离与平静图片的距离差k,设定阈值R,超过k>R的第一帧图像判定为起始帧;通过比对起始帧后图像,将k值最大值的一帧图像判定为顶帧数,当k
5.如权利要求4所述的一种微表情发生检测方法,其特征在于,步骤3‑6)对人脸进行检测,从每一帧的原始图像中检测出人脸的具体位置的具体步骤为:
3‑6‑1)采用局部二进制模式(LBP)提取响应图像;
3‑6‑2)采用AdaBoost算法对响应图像进行处理,分离出人脸区域;LBP算法首先对原始图像的每个像素点进行逐行扫描,对每个像素点以该点灰度值为阈值,对其周边3*3的邻接点进行二值化并按照顺序组成一个8位二进制数,以此二进制数的值0~255作为该点响应。
6.如权利要求5所述的一种微表情发生检测方法,其特征在于,步骤3‑7)根据输入的人脸图像,采用CLM局部约束模型自动定位出面部关键特点的具体步骤如下:
3‑7‑1)对人脸模型形状进行建模:针对M张图片,每张图片有N个特征点,每个特征点的T坐标为(xi、yi),一张图像上的N个特征点的坐标组成的向量用x=[x1 y1 x2 y2…xN yn] 表示,可得所有图像的平均脸坐标: 计算每个样本图像的形状和平均脸坐标的差值,可以得到一个零均值的形状变化矩阵X,对矩阵X进行PCA变换就可以得到人脸变化的主要成分,记特征值为λi,对应的特征向量为pi;选择最大的k个特征值对应的特征向量组成T正交矩阵P=(p1,p2,…,pk);形状变化的权重向量b=(b1,b2,…,bk) ,b的每个分量表示其在对应的特征向量方向的大小: 对任意的人脸检测图像,其样本形状向量可以表示为:
3‑7‑2)为每个特征点建立patch模型:对每个特征点周围取固定大小的patch区域,将包含特征点的patch区域标记为正样本;然后在非特征点区域截取同样大小的patch标记为(1) (2) (r) T负样本;每个特征点总共有r个patch,将其组成一个向量(x ,x ,…x ) ,对样本集中的(i) (i)每幅图像有 其中y ={‑1,1}i=1,2,…r,其中y =1为
(i)
正样本标记,y =‑1为负样本标记;则训练的线性支持向量机为:
其中xi表示样本集的子空间向量,αi是权重系数,Ms是每个特征点支持向量的数量,b为偏移(i) T (i) T量;可得:y =W·x +θ,W=[W1 W2 … Wn]是每个支持向量的权重系数,θ是偏移量;
3‑7‑3)人脸点拟合:通过当前估计的特征点位置的限制区域进行局部搜索,对每个特征点生成相似响应图R(X,Y);对响应图拟合一个二次函数,假设R(X,Y)是领域范围内(x0,
2 2
y0)处得到最大值,则可用二次函数r(x0,y0)=a(x‑x0)+b(y‑y0) +c拟合这个位置;其中a,2
b,c是二次函数的系数,利用最小二乘法δ=min∑x,y[R(x,y)‑r(x,y)]可求得二次函数r(x,y)和R(x,y)之间的最小误差;加上形变约束代价函数就能构成特征点查找的目标函数,目标函数可以表示为: 每次优化这个目标函数得到一个新的特征点位置,然后再迭代更新,直到收敛到最大值。
7.如权利要求6所述的一种微表情发生检测方法,其特征在于,步骤4)中所述判定微表情是否发生的判定规则为:通过脑电活动反应时刻判断微表情是否发生,如果判断为发生则根据微脑电表情发生时刻Tsm为时间起点搜索时间阈值TL内表情的变化,如果通过表情的起止帧的时间判断有发生在500ms内的表情出现,则最终判定为微表情发生;如果没有发生在500ms内的表情出现,则不最终判为微表情发生。
8.如权利要求7所述的一种微表情发生检测方法,其特征在于,时间阈值TL为500ms~
1000ms。
9.利用权利要求1至8任意一项所述检测方法进行微表情检测的系统,其特征在于,所述检测系统包括有:数据采集模块,用于记录刺激诱发微表情前的常态脑电数据和常态面部视频数据;记录刺激诱发微表情后的脑电数据和面部视频数据;
时间匹配模块,用于标记每一段脑电数据和每一帧面部视频数据的时间戳,生成脑电时间数据和面部视频时间数据;
数据处理模块,处理脑电数据、脑电时间数据、面部视频数据和面部视频时间数据,计算脑电微表情发生时刻Tsm、通过面部视频数据和面部视频时间数据判断的面部表情变化的起止帧和顶帧;
微表情判定模块,根据脑电判定微表情发生时刻Tsm、面部表情变化的起止帧和顶帧,判定微表情是否发生。