1.一种情感分类方法,其特征在于,包括以下步骤:
获得文档数据以及预设的情感分类模型,其中,所述文档数据包括文本数据、文本数据对应的若干个图像以及若干个图像的标签数据,所述情感分类模型包括语义特征提取模块、图像特征提取模块、图文对齐模块、多模态交互模块以及情感分类模块;
将所述文本数据以及若干个图像的标签数据分别输入至所述语义特征提取模块中进行特征提取,获得文本语义特征表示以及图像语义特征表示;
将所述若干个图像输入至所述图像特征提取模块中,根据所述若干个图像以及预设的第二卷积特征计算算法,获得图像卷积特征表示,其中,所述图像卷积特征表示包括若干个图像的第二卷积特征向量,所述第二卷积特征计算算法为:式中, 为第j个图像的卷积特征向量,VGG()为卷积函数,表示第j个图像;
根据所述图像卷积特征表示以及预设的图像全局特征计算算法,获得所述图像全局特征表示,其中,所述图像全局特征计算算法为:式中, 为所述图像全局特征表示, 为第一权重矩阵,M为所述图像卷积特征表示, 为第一偏置参数;
将所述图像语义特征表示以及图像全局特征表示输入至所述图文对齐模块中,根据所述图像语义特征表示、图像全局特征表示以及预设的多头自注意力特征计算算法,获得若干个注意力特征,其中,所述多头自注意力特征计算算法为:式中, 为第i个所述注意力特征,softmax()为归一化函数, 为第二权重矩阵,为所述图像语义特征表示, 为第三权重矩阵,为第四权重矩阵, 为维度参数;
将所述若干个注意力特征进行拼接,获得图像拼接表示,根据所述图像拼接表示以及预设的隐藏状态计算算法,获得所述图像增强语义特征表示,其中,所述图像增强语义特征表示为:式中, 为所述图像增强语义特征表示,Bi‑GRU()为隐藏状态提取函数, 为所述图像拼接表示;
根据所述文本语义特征表示以及预设的第一邻接矩阵构建算法,获得第一邻接矩阵,其中,所述第一邻接矩阵包括若干个文本节点之间的依赖关系向量,所述第一邻接矩阵构建算法为:式中, 为第一邻接矩阵,softmax()为归一化函数, 为第五权重矩阵, 为所述文本语义特征表示, 为第六权重矩阵, 为维度参数;
根据所述图像增强语义特征表示以及预设的第二邻接矩阵构建算法,获得第二邻接矩阵,其中,所述第二邻接矩阵包括若干个图像节点之间的依赖关系向量,所述第二邻接矩阵构建算法为:式中, 为第二邻接矩阵, 为第七权重矩阵, 为所述图像增强语义特征表示,为第八权重矩阵;
根据所述文本语义特征表示、图像增强语义特征表示以及预设的第三邻接矩阵构建算法,获得第三邻接矩阵,其中,所述第三邻接矩阵包括各个文本节点与各个图像节点之间的依赖关系向量,所述第三邻接矩阵构建算法为:式中, 为第三邻接矩阵,topk()为选择函数, 为第九权重矩阵, 为第十权重矩阵;
对所述第三邻接矩阵进行转置,获得第四邻接矩阵,根据所述第一邻接矩阵、第二邻接矩阵、第三邻接矩阵以及第四邻接矩阵,构建第五邻接矩阵,对所述跨模态邻接矩阵进行归一化处理,获得所述跨模态邻接矩阵对应的图拉普拉斯矩阵,作为所述跨模态邻接矩阵,其中,所述第五邻接矩阵包括若干个节点之间的依赖关系向量,所述节点包括文本节点以及图像节点,具体如下:式中, 为第五邻接矩阵中第i个节点与第j个节点之间的依赖关系向量,为第一超参数,为第二超参数,L为文本节点数目,N为图像节点数目, 为第四邻接矩阵;
将所述文本语义特征表示、图像增强语义特征表示以及跨模态邻接矩阵输入至所述多模态交互模块中进行特征交互,获得多模态特征表示;
将所述多模态特征表示以及跨模态邻接矩阵输入至所述情感分类模块中进行情感分类,获得所述文档数据的情感分类结果。
2.根据权利要求1所述的情感分类方法,其特征在于:所述文本数据包括若干个文本语句,所述文本语句包括若干个单词;所述标签数据包括若干个标签语句,所述标签语句包括若干个单词;所述语义特征提取模块包括词嵌入模块、卷积模块以及编码模块;
所述将所述文本数据以及若干个图像的标签数据分别输入至所述语义特征提取模块中进行特征提取,获得文本语义特征表示以及图像语义特征表示,包括步骤:分别将所述文本数据、标签数据输入至所述词嵌入模块中,获得所述若干个文本语句的若干个单词的词嵌入向量,以及所述若干个标签语句的若干个单词的词嵌入向量;
分别将所述若干个文本语句的若干个单词的词嵌入向量、所述若干个标签语句的若干个单词的词嵌入向量输入至所述卷积模块,获得所述若干个文本语句的第一卷积特征向量,以及所述若干个标签语句的第一卷积特征向量;
分别将所述若干个文本语句的第一卷积特征向量、所述若干个标签语句的第一卷积特征向量输入至所述编码模块,获得所述文档数据的隐藏状态特征表示,作为所述文本语义特征表示,以及获得所述标签数据的隐藏状态特征表示,作为所述图像语义特征表示。
3.根据权利要求2所述的情感分类方法,其特征在于:所述多模态交互模块为多层跨模态图卷积网络;
所述将所述文本语义特征表示、图像增强语义特征表示以及跨模态邻接矩阵输入至所述多模态交互模块中进行特征交互,获得多模态特征表示,包括步骤:将所述文本语义特征表示以及图像增强语义特征表示作为所述多层跨模态图卷积网络的首层输入数据,根据所述跨模态邻接矩阵以及预设的图卷积算法,获得所述多层跨模态图卷积网络的最后一层的输出的特征表示,作为所述多模态特征表示,其中,所述图卷积算法为:式中, 为多层跨模态图卷积网络的第l+1层的输出的特征表示,为第三超参数,P为所述跨模态邻接矩阵,I为单位矩阵, 为多层跨模态图卷积网络的第l层的偏置参数,为多层跨模态图卷积网络的第l层的权重矩阵。
4.根据权利要求3所述的情感分类方法,其特征在于,所述将所述多模态特征表示以及跨模态邻接矩阵输入至所述情感分类模块中进行情感分类,获得所述文档数据的情感分类结果,包括步骤:对所述多模态特征表示进行编码处理,获得编码处理后的多模态特征表示,其中,所述编码处理后的多模态特征表示包括若干个多模态特征向量,根据所述编码处理后的多模态特征表示、跨模态邻接矩阵以及预设的文档特征计算算法,获得文档特征表示,其中,所述文档特征计算算法为:式中,d为所述文档特征表示, 为第九权重矩阵, 为第i个多模态特征向量,tanh()为激活函数, 为第二偏置参数;
根据所述文档特征表示以及预设的情感概率分布计算算法,获得情感概率分布向量,根据所述情感概率分布向量,获取概率最大的维度对应的情感极性,将所述情感极性作为所述文档数据的情感分类结果,其中,所述情感概率分布计算算法为:式中, 为所述情感概率分布向量, 为第十权重矩阵, 为第三偏置参数。
5.一种情感分类装置,其特征在于,包括:
数据获取模块,用于获得文档数据以及预设的情感分类模型,其中,所述文档数据包括文本数据、文本数据对应的若干个图像以及若干个图像的标签数据,所述情感分类模型包括语义特征提取模块、图像特征提取模块、图文对齐模块、多模态交互模块以及情感分类模块;
语义特征提取模块,用于将所述文本数据以及若干个图像的标签数据分别输入至所述语义特征提取模块中进行特征提取,获得文本语义特征表示以及图像语义特征表示;
全局特征提取模块,用于将所述若干个图像输入至所述图像特征提取模块中,根据所述若干个图像以及预设的第二卷积特征计算算法,获得图像卷积特征表示,其中,所述图像卷积特征表示包括若干个图像的第二卷积特征向量,所述第二卷积特征计算算法为:式中, 为第j个图像的卷积特征向量,VGG()为卷积函数,表示第j个图像;
根据所述图像卷积特征表示以及预设的图像全局特征计算算法,获得所述图像全局特征表示,其中,所述图像全局特征计算算法为:式中, 为所述图像全局特征表示, 为第一权重矩阵,M为所述图像卷积特征表示, 为第一偏置参数;
图文对齐模块,用于将所述图像语义特征表示以及图像全局特征表示输入至所述图文对齐模块中,根据所述图像语义特征表示、图像全局特征表示以及预设的多头自注意力特征计算算法,获得若干个注意力特征,其中,所述多头自注意力特征计算算法为:式中, 为第i个所述注意力特征,softmax()为归一化函数, 为第二权重矩阵,为所述图像语义特征表示, 为第三权重矩阵,为第四权重矩阵, 为维度参数;
将所述若干个注意力特征进行拼接,获得图像拼接表示,根据所述图像拼接表示以及预设的隐藏状态计算算法,获得所述图像增强语义特征表示,其中,所述图像增强语义特征表示为:式中, 为所述图像增强语义特征表示,Bi‑GRU()为隐藏状态提取函数, 为所述图像拼接表示;
邻接矩阵构建模块,用于根据所述文本语义特征表示以及预设的第一邻接矩阵构建算法,获得第一邻接矩阵,其中,所述第一邻接矩阵包括若干个文本节点之间的依赖关系向量,所述第一邻接矩阵构建算法为:式中, 为第一邻接矩阵,softmax()为归一化函数, 为第五权重矩阵, 为所述文本语义特征表示, 为第六权重矩阵, 为维度参数;
根据所述图像增强语义特征表示以及预设的第二邻接矩阵构建算法,获得第二邻接矩阵,其中,所述第二邻接矩阵包括若干个图像节点之间的依赖关系向量,所述第二邻接矩阵构建算法为:式中, 为第二邻接矩阵, 为第七权重矩阵, 为所述图像增强语义特征表示,为第八权重矩阵;
根据所述文本语义特征表示、图像增强语义特征表示以及预设的第三邻接矩阵构建算法,获得第三邻接矩阵,其中,所述第三邻接矩阵包括各个文本节点与各个图像节点之间的依赖关系向量,所述第三邻接矩阵构建算法为:式中, 为第三邻接矩阵,topk()为选择函数, 为第九权重矩阵, 为第十权重矩阵;
对所述第三邻接矩阵进行转置,获得第四邻接矩阵,根据所述第一邻接矩阵、第二邻接矩阵、第三邻接矩阵以及第四邻接矩阵,构建第五邻接矩阵,对所述跨模态邻接矩阵进行归一化处理,获得所述跨模态邻接矩阵对应的图拉普拉斯矩阵,作为所述跨模态邻接矩阵,其中,所述第五邻接矩阵包括若干个节点之间的依赖关系向量,所述节点包括文本节点以及图像节点,具体如下:式中, 为第五邻接矩阵中第i个节点与第j个节点之间的依赖关系向量,为第一超参数,为第二超参数,L为文本节点数目,N为图像节点数目, 为第四邻接矩阵;
特征交互模块,用于将所述文本语义特征表示、图像增强语义特征表示以及跨模态邻接矩阵输入至所述多模态交互模块中进行特征交互,获得多模态特征表示;
情感分类模块,用于将所述多模态特征表示以及跨模态邻接矩阵输入至所述情感分类模块中进行情感分类,获得所述文档数据的情感分类结果。
6.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的情感分类方法的步骤。
7.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的情感分类方法的步骤。