1.一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,包括:获取待识别的图文数据;
从待识别的图文数据中提取文本特征;
从待识别的图文数据中提取图像特征;
将文本特征和图像特征进行跨模态融合,获取文本融合特征和图像融合特征;
根据文本融合特征和图像融合特征进行情感分类识别;
其中,特征融合包括:
将文本特征提取模块和图像特征提取模块输出的特征作为特征融合模块的输入,其中一种是主输入,另一种是副输入,将两种输入模态融合来生成目标模态输出,设一个主输入副输入 将主输入E和副输入G投影到同一个共享向量空间中:
上式的 是训练参
数,dv表示共享向量空间的维数,使用Eemb和Gemb来计算注意力矩阵 Mij表示主输入的第i个内容与副输入的第j个内容之间的相关性,用下式表示注意力矩阵M:为了衡量每个副输入对主输入的重要性,使用softmax函数来量化M:之后就得到了基于注意力机制的副输入J:T
J=G·M (5)
最后,主输入E和基于注意力机制的副输入J在全连接层进行拼接,得到融合特征U={U1,U2,...,Un}:U=tanh(Pu[Ei:Ji]+Cu) (6)上式中,
2.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,通过降噪自编码器,从待识别的图文数据中提取文本特征。
3.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,通过基于注意力的变分自动编码器,从待识别的图文数据中提取图像特征。
4.如权利要求3所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,基于注意力的变分自动编码器的损失函数为:L(φ,μ,a)=Eqφ(d|a)[logpμ(a|d)]‑βDKL(qφ(d|a)||pμ(d)) 。
5.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,将文本特征和图像特征输入特征融合模块进行特征融合,具体为:特征融合模块分别以文本特征为主输入,图像特征为副输入,输出文本融合特征,以图像特征为主输入,以文本特征为副输入,输出图像融合特征。
6.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,根据主输入和副输入计算输出融合特征的具体过程为:将主输入和副输入投影到同一个共享向量空间中;
通过注意力机制计算主输入和副输入间的相关性;
通过主输入与主输入和副输入间的相关性,获得基于注意力机制的副输入;
将主输入和基于注意力机制的副输入进行拼接,获得融合特征。
7.如权利要求1所述的一种基于多模态特征融合的社交媒体情感分析方法,其特征在于,将文本融合特征和图像融合特征经全连接层连接后由输出层输出至softmax分类器中进行情感分类识别。
8.一种基于多模态特征融合的社交媒体情感分析系统,其特征在于,包括:数据采集模块,用于获取待识别的图文数据;
文本特征提取模块,用于从待识别的图文数据中提取文本特征;
图像特征提取模块,用于从待识别的图文数据中提取图像特征;
特征融合模块,用于将文本特征和图像特征进行跨模态融合,获取文本融合特征和图像融合特征;
情感分类识别模块,用于根据文本融合特征和图像融合特征进行情感识别;
其中,特征融合包括:
将文本特征提取模块和图像特征提取模块输出的特征作为特征融合模块的输入,其中一种是主输入,另一种是副输入,将两种输入模态融合来生成目标模态输出,设一个主输入副输入 将主输入E和副输入G投影到同一个共享向量空间中:
上式的 是训
练参数,dv表示共享向量空间的维数,使用Eemb和Gemb来计算注意力矩阵 Mij表示主输入的第i个内容与副输入的第j个内容之间的相关性,用下式表示注意力矩阵M:为了衡量每个副输入对主输入的重要性,使用softmax函数来量化M:之后就得到了基于注意力机制的副输入J:T
J=G·M (5)
最后,主输入E和基于注意力机制的副输入J在全连接层进行拼接,得到融合特征U={U1,U2,...,Un}:U=tanh(Pu[Ei:Ji]+Cu) (6)上式中,
9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑7任一项所述的一种基于多模态特征融合的社交媒体情感分析方法的步骤。
10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项所述的一种基于多模态特征融合的社交媒体情感分析方法的步骤。