利索能及
我要发布
收藏
专利号: 2020111012879
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于微表情分析的抑郁症识别系统,其特征在于,具体步骤包括如下:步骤(1.1)、对视频信息预处理,通过训练深度多任务识别网络得到人脸状态;

步骤(1.2)、根据得到的输出人脸状态结果,对人脸的局部区域进行划分,剔除与微表情无关的区域;

步骤(1.3)、将划分的局部区域作为原始信息,对其进行提取光流,后将原始信息与提取的光流信息输入到自适应的双流神经网络中,对双流神经网络进行训练,进而对微表情运动的开始帧、峰值帧、结束帧进行定位;

所述的双流神经网络为时空级联的双流神经网络分别对输入的原图像与光流图像提取时间特征和空间特征采用三个基于注意力机制的BLSTM-CNN模型,其中两个模型对每个流提取重要的帧特征,另外一个模型确定双流特征的权重,最后得到开始帧、峰值帧、结束帧的定位信息;

具体的,

一、深度多任务识别网络以及局部区域的划分:该网络用于检测人脸图像上关键点的位置,由于人脸受到影响;故使用一个深度多任务神经网络来考虑进人脸关键点检测的任务中以得到关键点位置;此网络由卷积层、池化层和全连接层组成,其中卷积层使用的是5×5用Re LU作为激活函数;之后使用最大值池化来处理非交叠区域的特征;使用最大值池化不仅可保留主要特征,也可减少特征参数的维度;全连接层用于输出人脸关键点的位置及其他影响因素的检测结果;将第t个任务表示为t=*1,…,T+,i=*1,…,N+,其中和分别表示第t个任务和第t个任务的标签;完整的任务T中包含5个相关任务,其相关标签为其中代表人脸关键点的位置,而其他的分别代表人脸的姿态、性别、是否佩戴眼镜以及是否微笑;此神经网络的主要目标是最小化如下式的代价函数:

式中,Loss(·)表示整体的代价函数,f(·)表示神经网络中通过网络的权值系数wt计算任务目标的过程;神经网络分别使用Euclidean代价函数进行人脸关键点的检测,Softmax代价函数进行其他任务的检测;

若根据深度多任务识别网络的输出对面部全局区域进行无差别分块会产过多冗余特征,故只对与微表情有紧密联系的局部区域进行分块处理;由于心理学研究发现,不同类别的微表情出现在面部区域位置不同,因此其局部区域将面部区域划分为7个局部区域块;

二、自适应双流神经网络:

该网络集成了两个子网,是一个时空级联网络;该网络通过结合卷积神经网络和添加注意力机制的LC-BLSTM;由于所有特征的注意力权重在不断变化,因此将注意力机制应用于两流特征融合以实现自适应动态特征融合过程;

a)、双流空间子网:

该神经网络的输入分别为经重点局部区域划分后的图片序列信息和图片的光流信息;其中,图片的光流信息可将原始图片序列信息输入到FlowNet2.0获得;为获得空间信息,将残差网络的体系结构作为基本部分,共有三组块,每组有四个块;然后,依次铺平一层和一层致密层;所有层的激活功能都是ReLU;此外,所有池化层都是平均池化层;

b)、双流时间子网:

采用Attention-aware-BLSTM-CNN特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BLSTM提取与相关的全局特征,将两种互补模型提取的特征进行融合;该子网通过Forward层和Backward层将数据连接到两个单独的隐藏层中,分别记录每一时刻Forward层的输出和Backward层的输出最终的输出结果为基于注意力机制来提取特征,有选择地表示输入序列:

其中,aframe表示注意力的权重,其大小根据输入特征序列的步长大小确定;

即:

其中,是的转置;Wframe是权重矩阵;bframe是其偏置项;cframe为在训练过程中随机初始化和学习的帧级上下文向量,用来表示这些帧的重要性;fframe表示单流的特征;时间子网通过增加与微表情检测密切相关的帧的权重来关注更重要的帧,同时忽略其他不相关的帧;

将注意机制应用于双流特征融合;所有特征的注意权重不断变化,实现一种自适应的动态特征融合过程;流级注意权重的计算方法与帧级相似;计算如下:

其中,是的转置;Wstream是权重矩阵;bstream是其偏置项;cstream在训练过程中随机初始化和学习的流级上下文向量,即这两个流的动态融合权重;f2-stream为两个流的组合特征表示;

本系统包括两个内容:(一)、是深度多任务识别网络和重要局部区域的划分;首先对视频信息进行跳帧提取,每4帧提取一次,并将其输入到该度多任务识别网络中,该网络的输出为人脸关键点以及人脸状态,根据面部动作编码系统划分出重要的人脸局部区域,经划分后的图像信息再经过自适应双流神经网络进行识别时,可减少网络的参数,进而提高网络的识别速度;(二)、是自适应双流神经网络;将深度多任务识别网络的输出作为原始数据,通过FlowNet2.0获得光流数据,把两种数据作为输入分别输入到自适应双流神经网络中,并将注意力机制添加到双流神经网络中,以实现对双流神经网络的输出进行自适应融合,提高对帧定位的准确程度;最后,根据双流神经网络输出的融合结果,对是否患有抑郁症进行判断;

步骤(1.4)、通过输出的定位结果对微表情进行分析,根据在不同背景下对微表情的分析判断该人是否患有抑郁症。

2.根据权利要求1所述的基于微表情分析的抑郁症识别系统,其特征在于,在步骤(1.1)中,所述深度多任务识别网络用于对采集到的人脸图片信息进行预处理;其包括卷积层、池化层和全连接层;

其中,卷积层使用5×5和3×3的卷积核,在卷积计算之后使用ReLU作为激活函数,使用最大值池化来处理非交叠区域的特征,最后经全连接层输出人脸关键点的位置以及其他影响因素的检测结果。

3.根据权利要求1所述的基于微表情分析的抑郁症识别系统,其特征在于,在步骤(1.2)中,对人脸的重要的局部区域进行划分具体是:将面部区域划分为7个局部区域块,其中每块区域都是一个或几个面部动作单元的组合;

其中,所述7个局部区域块包括眼睛、眉毛、鼻子、嘴巴、左右两个面颊及下巴。

4.根据权利要求1所述的基于微表情分析的抑郁症识别系统,其特征在于,在步骤(1.4)中,通过输出的定位结果对微表情进行分析的具体步骤为:通过得到的结果提取特征并将其输入到支持向量机中;

所述支持向量机的结果包括愉快、悲伤、中性;根据抑郁症患者的面部微表情研究表明:抑郁倾向者将不同背景下的中性、悲伤和恐惧微表情误判为正性偏向多于负性偏向。