1.一种基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,包括如下步骤:S1:获取动态人脸视频序列作为样本数据,进行预处理并划分为训练集、验证集和测试集;
S2:构建动态人脸表情识别网络,由双流特征解耦编码网络、多阶时序动力学建模模块、特征线性调制模块和时序分类器依次串联构成;动态人脸视频序列输入双流特征解耦编码网络,经冻结参数的静态面部结构编码器提取静态结构特征序列,同时经嵌入可训练适配器的动态编码器提取动态情感特征序列;动态情感特征序列输入多阶时序动力学建模模块,计算相邻帧的一阶速度特征与二阶加速度特征,并与原始状态特征聚合生成时序情感演化轨迹;特征线性调制模块,利用时序情感演化轨迹生成缩放与平移参数,对静态结构特征序列进行仿射变换调制,输出复合特征序列;时序分类器利用复合特征序列,计算并输出最终的表情类别;
S3:采用两阶段策略对动态人脸表情识别网络进行迭代训练,第一阶段保持骨干网络参数冻结,利用静态表情数据集对动态情感编码器中的适配器模块进行微调;第二阶段将微调后的适配器模块接入整体网络,利用训练集进行端到端联合训练,并通过验证集评估得到训练好的动态人脸表情识别网络;
S4:将测试集输入至训练好的动态人脸表情识别网络,完成动态人脸表情识别。
2.根据权利要求1中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S1包括:S1.1:采集包含不同运动阶段的动态人脸视频序列作为样本数据,并获取对应的面部表情类别标签;
S1.2:对获取的面部视频序列进行数据预处理,包括人脸检测、面部对齐与裁剪,提取仅包含面部区域的连续帧图像对序列;
S1.3:将预处理后的连续帧图像序列按照设定的比例划分为训练集、验证集和测试集,将图像统一调整至固定分辨率大小,并进行归一化处理。
3.根据权利要求1中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2所述的双流特征解耦编码网络包含并行设置的静态面部结构编码器和动态情感编码器;多阶时序动力学建模模块包含差分计算单元、特征投影单元和多头自注意力聚合单元;特征线性调制模块包含参数生成网络和特征调制计算单元;时序分类器包含时序聚合网络和全连接预测层。
4.根据权利要求3中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2包括:S2.1:构建双流特征解耦编码网络,通过并行支路分别执行与身份结构相关的静态表征提取以及与面部肌肉运动相关的动态情感特征提取;
S2.2:构建多阶时序动力学建模模块,执行基于时间维度的一阶速度与二阶加速度计算,并捕获不同阶次特征的相关性;
S2.3:构建特征线性调制模块,包含参数生成网络和特征调制计算单元,执行基于动态轨迹对静态特征的跨域通道级仿射变换;
S2.4:构建时序分类器,包含时序聚合网络和全连接预测层,执行对调制后时空特征的全局序列聚合与概率预测。
5.根据权利要求4中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2.1具体包括:S2.1.1:构建静态面部结构编码器,基于视觉Transformer骨干网络,加载预训练权重并冻结所有网络参数,接收处理输入的视频帧,提取并输出反映稳定解剖结构的静态结构特征序列;
S2.1.2:构建动态情感编码器,基于与静态支路相同的视觉Transformer骨干网络,并在其每一层的Transformer块中嵌入可训练的适配器模块;
S2.1.3:利用动态情感编码器处理同一视频帧,适配器模块将骨干特征映射到低维空间引入非线性后恢复至原始维度,最后通过门控机制将提取的面部动态肌肉运动特征融入原网络特征,输出结构无关的动态情感特征序列。
6.根据权利要求5中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2.1.3中适配器模块的信息处理时序具体为:接收当前网络层的输入特征,依次经过包含降维投影矩阵的线性层、层归一化操作、非线性激活函数以及升维投影矩阵,提取出低秩适配特征;将所述低秩适配特征与一个初始化为零的可学习门控标量相乘后,与所述输入特征进行残差逐元素相加,输出至下一层网络,通过该门控机制实现从结构预训练知识向情感动态特征的平滑过渡。
7.根据权利要求4中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2.2具体包括:S2.2.1:构建一阶差分计算单元,接收动态情感特征序列,计算当前帧特征与前一帧特征的差值,得到表征表情动作演化速率的一阶速度特征;
S2.2.2:构建二阶差分计算单元,计算当前帧的一阶速度特征与前一帧的一阶速度特征的差值,得到表征表情动作变化剧烈程度的二阶加速度特征;其中首帧的速度特征初始化为零,首两帧的加速度特征初始化为零;
S2.2.3:构建多头自注意力聚合单元,将每一时间步的动态情感特征、一阶速度特征和二阶加速度特征分别通过可学习的线性映射矩阵投影至相同维度,沿通道拼接构建为动力学特征矩阵;将该动力学特征矩阵输入多头自注意力层,计算多阶动力学特征间的时序依赖权重,融合生成时序情感演化轨迹。
8.根据权利要求4中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2.3具体包括:S2.3.1:利用参数生成网络接收时序情感演化轨迹作为条件输入变量,经过线性映射层计算,生成通道级别的缩放参数与平移参数;
S2.3.2:利用特征调制计算单元执行逐帧特征融合,将静态结构特征序列与缩放参数进行逐元素的哈达玛积运算,计算结果再与平移参数进行逐元素相加,生成注入了动态演化模式的复合特征序列。
9.根据权利要求4中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S2.4具体包括:S2.4.1:利用该时序聚合网络接收复合特征序列;该网络采用时序Transformer结构,利用一个可学习的类别令牌向量聚合整个视频序列的上下文信息,输出聚合后的类别令牌向量;
S2.4.2:利用该全连接预测层接收聚合后的类别令牌向量,计算各表情类别的概率分布,输出概率最大者作为最终的表情类别。
10.根据权利要求1中所述的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法,其特征在于,步骤S3所述的两阶段策略具体为:S3.1:利用静态人脸表情数据集作为输入,冻结动态情感编码器的骨干网络参数,仅以最小化交叉熵损失为目标,计算梯度并更新各层适配器模块的权重以及门控标量,得到结构无关的表情特征提取器;
S3.2:利用动态视频训练集,冻结静态面部结构编码器的全部参数以及动态情感编码器的骨干参数,在网络正向传播生成预测结果并计算总体识别损失后,通过反向传播算法联合更新适配器模块、多阶时序动力学建模模块、特征线性调制模块以及时序分类器的参数,完成最终网络的训练。
11.一种基于特征解耦与多阶轨迹调制的动态人脸表情识别装置,其特征在于,包括存储器和一个处理器,存储器中存储有可执行代码,处理器执行可执行代码时,用于实现权利要求1‑10中任一的基于特征解耦与多阶轨迹调制的动态人脸表情识别方法。