利索能及
我要发布
收藏
专利号: 2021108815443
申请人: 北京工业大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-03-03
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种情感分类方法,其特征在于,包括:

将目标对象的各种情感数据输入分类模型中相应的特征提取模块中,输出各种情感数据的第一特征向量;其中,各种情感数据与所述特征提取模块一一对应;

将所有情感数据的第一特征向量输入所述分类模型中的特征融合模块,输出所有情感数据的第一特征向量融合后的第二特征向量;

将各种情感数据的第一特征向量和所述第二特征向量形成输入向量,并将各输入向量输入所述分类模型中相应的注意力机制模块中,输出各种情感数据的第三特征向量;其中,各种情感数据与所述注意力机制模块一一对应;

将所有情感数据的第三特征向量进行拼接后输入所述分类模型的分类模块,输出所述目标对象的情感类别;

其中,所述分类模型以样本对象的各种情感数据为样本,以所述样本对象的预先获取的情感类别为标签训练获取;

所述注意力机制模块包括第一注意力机制模块和第二注意力机制模块;

相应地,所述将各输入向量输入所述分类模型中相应的注意力机制模块中,输出各种情感数据的第三特征向量,包括:将各输入向量输入相应的第一注意力机制模块,输出各种情感数据的模态间融合的特征向量;

将各输入向量的模态间融合的特征向量输入相应的第二注意力机制模块,输出各种情感数据的模态内融合的特征向量;

将所述模态内融合的特征向量作为所述第三特征向量;

所述将各输入向量输入相应的第一注意力机制模块,输出各种情感数据的模态间融合的特征向量,包括:将各输入向量中第一特征向量分别输入相应的第一注意力机制模块的第一全连接层和第二全连接层,分别输出各输入向量中第一特征向量的第一输出结果和第二输出结果;

将各输入向量中第二特征向量输入相应的第一注意力机制模块的第三全连接层,输出各输入向量中第二特征向量的第三输出结果;

计算各输入向量对应的第一输出结果和第三输出结果之间的第一相似矩阵;

将各输入向量对应的第一相似矩阵和第二输出结果进行内积操作,获取各种情感数据的所述模态间融合的特征向量;

在所述将目标对象的各种情感数据输入分类模型中相应的特征提取模块中,输出各种情感数据的第一特征向量之前,还包括:将所述样本对象的各种情感数据输入所述分类模型,分别从所述特征提取模块的输出中获取所述样本对象的各种情感数据的第四特征向量,从所述注意力机制模块的输出中获取所述样本对象的各种情感数据的第五特征向量,从所述分类模块的输出中获取所述样本对象的情感类别;

根据所述分类模块输出的样本对象的情感类别与所述样本对象的预先获取的情感类别,获取所述分类模块的损失函数;

将所述样本对象的各种情感数据的第五特征向量中的部分特征向量和所述第四特征向量输入所述分类模型的对比学习模型中,输出所述样本对象的各种情感数据的对比学习结果;

根据所述对比学习结果获取所述对比学习模型的损失函数;

根据所述对比学习模型的损失函数和所述分类模块的损失函数对所述分类模型进行训练。

2.根据权利要求1所述的情感分类方法,其特征在于,所述将各输入向量的模态间融合的特征向量输入相应的第二注意力机制模块,输出各种情感数据的模态内融合的特征向量,包括:将各输入向量的模态间融合的特征向量分别输入相应的第二注意力机制模块的第四全连接层、第五全连接层和第六全连接层,分别输出各输入向量中第一特征向量的第四输出结果、第五输出结果和第六输出结果;

计算各输入向量对应的第四输出结果和第五输出结果之间的第二相似矩阵;

将各输入向量对应的第二相似矩阵和第六输出结果进行内积操作,获取各种情感数据的所述模态内融合的特征向量。

3.根据权利要求1‑2任一所述的情感分类方法,其特征在于,所述将各种情感数据的第一特征向量和所述第二特征向量形成输入向量,包括:将所述第二特征向量输入所述分类模型中的第七全连接层,输出降维后的第二特征向量;

将各第一特征向量输入所述分类模型中相应的卷积层中,输出各第一特征向量的卷积操作结果;

将各第一特征向量的卷积操作结果和所述降维后的第二特征向量形成所述输入向量;

其中,各第一特征向量的卷积操作结果的维度与所述降维后的第二特征向量的维度相同。

4.根据权利要求1‑2任一所述的情感分类方法,其特征在于,所述特征提取模块包括COVAREP模型、Glove模型和Facet模型;

相应地,所述将目标对象的各种情感数据输入分类模型中相应的特征提取模块中,输出各种情感数据的第一特征向量,包括:将所述目标对象的音频情感数据输入所述COVAREP模型,输出所述音频情感数据的第一特征向量;

将所述目标对象的文本情感数据输入所述Glove模型,输出所述文本情感数据的第一特征向量;

将所述目标对象的图像情感数据输入所述Facet模型,输出所述图像情感数据的第一特征向量。

5.一种情感分类装置,其特征在于,包括:

提取模块,用于将目标对象的各种情感数据输入分类模型中相应的特征提取模块中,输出各种情感数据的第一特征向量;其中,各种情感数据与所述特征提取模块一一对应;

第一融合模块,用于将所有情感数据的第一特征向量输入所述分类模型中的特征融合模块,输出所有情感数据的第一特征向量融合后的第二特征向量;

第二融合模块,用于将各种情感数据的第一特征向量和所述第二特征向量形成输入向量,并将各输入向量输入所述分类模型中相应的注意力机制模块中,输出各种情感数据的第三特征向量;其中,各种情感数据与所述注意力机制模块一一对应;

分类模块,用于将所有情感数据的第三特征向量进行拼接后输入所述分类模型的分类模块,输出所述目标对象的情感类别;

其中,所述分类模型以样本对象的各种情感数据为样本,以所述样本对象的预先获取的情感类别为标签训练获取;

所述注意力机制模块包括第一注意力机制模块和第二注意力机制模块;

所述第二融合模块,具体用于:

将各输入向量输入相应的第一注意力机制模块,输出各种情感数据的模态间融合的特征向量;

将各输入向量的模态间融合的特征向量输入相应的第二注意力机制模块,输出各种情感数据的模态内融合的特征向量;

将所述模态内融合的特征向量作为所述第三特征向量;

所述第二融合模块,还用于:

将各输入向量中第一特征向量分别输入相应的第一注意力机制模块的第一全连接层和第二全连接层,分别输出各输入向量中第一特征向量的第一输出结果和第二输出结果;

将各输入向量中第二特征向量输入相应的第一注意力机制模块的第三全连接层,输出各输入向量中第二特征向量的第三输出结果;

计算各输入向量对应的第一输出结果和第三输出结果之间的第一相似矩阵;

将各输入向量对应的第一相似矩阵和第二输出结果进行内积操作,获取各种情感数据的所述模态间融合的特征向量;

所述装置还包括训练模块,具体用于:

将所述样本对象的各种情感数据输入所述分类模型,分别从所述特征提取模块的输出中获取所述样本对象的各种情感数据的第四特征向量,从所述注意力机制模块的输出中获取所述样本对象的各种情感数据的第五特征向量,从所述分类模块的输出中获取所述样本对象的情感类别;

根据所述分类模块输出的样本对象的情感类别与所述样本对象的预先获取的情感类别,获取所述分类模块的损失函数;

将所述样本对象的各种情感数据的第五特征向量中的部分特征向量和所述第四特征向量输入所述分类模型的对比学习模型中,输出所述样本对象的各种情感数据的对比学习结果;

根据所述对比学习结果获取所述对比学习模型的损失函数;

根据所述对比学习模型的损失函数和所述分类模块的损失函数对所述分类模型进行训练。

6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述情感分类方法的步骤。

7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述情感分类方法的步骤。