1.一种基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于包括以下步骤:
S1、建立多模态情感分析框架;
S2、对多模态数据进行手工特征提取;
S3、将处理好的数据输入到联合域分离网络中,获取联合域分离表示特征;
S4、将各模态的联合域分离表示输入到分层图融合网络,以获取可解释的融合表示;
S5、融合表示输入预测网络中以进行情感预测;
S6、结合网格搜索寻优算法,使用新的联合损失函数训练网络,以获取最优的模型。
2.根据权利要求1所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S1中多模态情感分析框架包括依次连接的多模态数据手工特征提取模块、联合域分离网络模块、分层图融合网络模块、情感预测网络模块和网络学习模块。
3.根据权利要求1或2所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S2中手工特征提取通过Facet、COVAREP工具包分别提取视频和音频序列的手工特征。
4.根据权利要求1所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S3中将手工特征输入到联合域分离网络中以获取联合域分离表示,过程如下:(1)将文本、视频、音频手工特征分别输入到BERT模型和两个不同的双向长短记忆网络以获取话语级特征;(2)将三模态的话语级特征输入到不同的多层感知机中以获取统一映射表示;(3)将统一表示输入到联合域分离网络中,以获取各模态特殊性‑不变性表示的联合表示。
5.根据权利要求1或4所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S4中将各模态联合表示输入到分层图融合网络进行可解释性融合。
6.根据权利要求1所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S5中将融合后的特征输入到预测网络以进行情感状态分析。
7.根据权利要求1所述的基于联合域分离表示分层图融合网络的多模态情感分析方法,其特征在于,在步骤S6中结合网格搜索算法,利用新的约束正则损失函数对网络进行训练,并保存最优模型。