利索能及
我要发布
收藏
专利号: 202211423706X
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种微表情识别方法,其特征在于,包括:

步骤(1)对微表情视频序列进行预处理,得到人脸图像集,并将所述人脸图像集划分为训练集和测试集;

步骤(2)搭建网络模型DA_DenseNet,所述网络模型DA_DenseNet采用DenseNet‑121作为骨干网络,并在DenseNet‑121的每一个Dense Block之后加入两个分支,一个分支是en‑scSE模块,第二个分支为Triplet Attention模块,对两个分支输出的特征图进行相乘融合;在每一个Transition Layer后加入Triplet Attention,在提取的特征最终进行分类之前,根据所分类的类数,加入特征细化模块;所述en‑scSE模块是改进的通道级的注意力模块与改进的通道压缩‑空间激励模块的并联模块,所述Triplet Attention模块为不同维度的交互处理模块;

cSE模块将人脸图像 利用全局平均池化从 变为 ,再用两次卷积运算,最终获得一个 维的向量,再利用sigmoid函数对其进行归一化,最后通过channel‑wise相乘得到输出特征;en‑scSE模块在所述channel‑wise之前增加了两个线性层并使用ReLu激活函数;

sSE模块沿着通道压缩人脸图像 并在空间上激发,人脸图像利用 的卷积,从变为 ,使用sigmoid函数 激活,然后与原来的人脸图像进行相乘得到特征;en‑scSE模块增加了一支全局平均池化操作,与原来sSE得到的特征相乘,空间内不重要的信息将会被抑制,更好地提取重要特征;

步骤(3)采用训练集对所述网络模型DA_DenseNet进行训练,执行分类任务并生成分类模型;

步骤(4)采用测试集对训练好的网络模型DA_DenseNet进行测试。

2.根据权利要求1所述的微表情识别方法,其特征在于,所述步骤(1)中,对微表情视频序列进行预处理,包括:步骤(11)定位每个微表情视频序列的起始帧和顶点帧,并从定位到的起始帧和顶点帧中分割出人脸区域;并增加微表情顶点帧前后各两帧作为训练或者测试样本;

步骤(12)采用随机裁剪,直接将微表情视频序列裁剪出固定大小的微表情样本,对微表情样本进行随机旋转,并对微表情样本进行色彩抖动操作以进行数据增强。

3.根据权利要求1所述的微表情识别方法,其特征在于,所述步骤(2)中,Triplet Attention的结构为:Triplet Attention由3个平行分支组成,第一个分支在H维度和C维度之间建立了交互,第二个分支在C维度和W维度建立了交互,第三个分支在H维度和W维度之间建立了交互,Z‑pool层负责将C维度的Tensor缩减到2维,并将该维上的平均池化特征和最大池化特征连接起来,其公式为:;

其中,Maxpool代表最大池化,Avgpool表示平均池化,0d是发生最大和平均池化操作的第0维;

最终3个分支的输出使用平均进行聚合,公式为:

其中, 表示第一分支旋转后的张量, 表示第二分支旋转后的张量, 表示第三分支的张量, 表示 通过Z‑pool之后的张量, 表示 通过Z‑pool之后的张量, 表示 通过Z‑pool之后的张量,代表sigmoid激活函数, 表示三个分支中由卷积核大小k定义的标准二维卷积层。

4.根据权利要求1所述的微表情识别方法,其特征在于,所述步骤(2)中,特征细化模块的结构为:每个特征细化分支由一个全局平均池化和两个全连接层组成,其中,全连接层起到分类的作用,全连接层后是激活层sigmoid;如果训练样本的微表情样本是第k个类别,则第k个分支中的真值为1,其他分支的真值为0,允许网络为每类表情生成特定于表情的特征。

5.一种微表情识别系统,其特征在于,包括:

预处理模块,用于对微表情视频序列进行预处理,得到人脸图像集,并将所述人脸图像集划分为训练集和测试集;

模型构建模块,用于搭建网络模型DA_DenseNet,所述网络模型DA_DenseNet采用DenseNet‑121作为骨干网络,并在DenseNet‑121的每一个Dense Block之后加入两个分支,一个分支是en‑scSE模块,第二个分支为Triplet Attention模块,对两个分支输出的特征图进行相乘融合;在每一个Transition Layer后加入Triplet Attention,在提取的特征最终进行分类之前,根据所分类的类数,加入特征细化模块;所述en‑scSE模块是改进的通道级的注意力模块与改进的通道压缩‑空间激励模块的并联模块,所述Triplet Attention模块为不同维度的交互处理模块;

cSE模块将人脸图像 利用全局平均池化从 变为 ,再用两次 卷

积运算,最终获得一个 维的向量,再利用sigmoid函数对其进行归一化,最后通过channel‑wise相乘得到输出特征;en‑scSE模块在所述channel‑wise之前增加了两个线性层并使用ReLu激活函数;

sSE模块沿着通道压缩人脸图像 并在空间上激发,人脸图像利用 的卷积,从变为 ,使用sigmoid函数 激活,然后与原来的人脸图像进行相乘得到特征;en‑scSE模块增加了一支全局平均池化操作,与原来sSE得到的特征相乘,空间内不重要的信息将会被抑制,更好地提取重要特征;

训练模块,用于采用训练集对所述网络模型DA_DenseNet进行训练,执行分类任务并生成分类模型;

测试模块,用于采用测试集对训练好的网络模型DA_DenseNet进行测试。

6.一种计算机存储介质,其上存储有计算机程序,其特征在于:所述计算机程序在被计算机处理器执行时实现权利要求1至4任一项所述的方法。