利索能及
我要发布
收藏
专利号: 2024111300840
申请人: 华南师范大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-02-20
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多模态嘲讽检测方法,其特征在于,包括以下步骤:

获得待测文档数据以及预设的多模态嘲讽检测模型,其中,所述待测文档数据包括待测文本以及待测图像;所述多模态嘲讽检测模型包括编码模块、语义提取模块、情感倾向检测模块以及嘲讽检测模块;

将所述待测文档数据输入至所述编码模块中,分别对所述待测文本以及待测图像进行编码处理,获得文本编码表示以及图像编码表示;

将所述文本编码表示以及图像编码表示输入至所述语义提取模块中进行语义特征提取,获得文本语义特征表示以及图像语义特征表示;

将所述文本语义特征表示以及图像语义特征表示输入至所述情感倾向检测模块中,根据所述文本编码表示中若干个单词的词嵌入向量进行情感得分计算,获得若干个单词的情感得分向量,将若干个单词的情感得分向量进行两两相加,获得若干个单词之间的情感关联向量,构建文本情感邻接矩阵;

对所述文本情感邻接矩阵进行归一化处理,获得归一化处理后的文本情感邻接矩阵;

根据所述文本语义特征表示以及归一化处理后的文本情感邻接矩阵进行情感倾向特征提取,获得文本情感倾向特征表示;根据所述图像语义特征表示进行图卷积处理,获得图像情感倾向特征表示;

将所述文本情感倾向特征表示以及图像情感倾向特征表示输入至所述嘲讽检测模块中,采用交互注意力方法,根据所述文本情感倾向特征表示、图像情感倾向特征表示以及预设的第一交互注意力计算算法进行特征交互,获得文本至图像交互注意力特征表示,其中,所述第一交互注意力计算算法为:式中,Ht2v为所述文本至图像交互注意力特征表示,Softmax()为归一化指数函数,Wq为所述嘲讽检测模块的第一权重参数,Wk为所述嘲讽检测模块的第二权重参数,We为所述嘲讽检测模块的第三权重参数,bq为所述嘲讽检测模块的第一偏置参数,bk为所述嘲讽检测模块的第二偏置参数,be为所述嘲讽检测模块的第三偏置参数,d为维度参数,T为转置符号;

对所述文本至图像交互注意力特征表示进行全局特征提取,获得文本至图像全局特征表示,根据所述文本至图像全局特征表示进行嘲讽概率向量计算,获得预测嘲讽概率向量,根据所述预测嘲讽概率向量,获得所述待测文档数据的嘲讽检测结果。

2.根据权利要求1所述的多模态嘲讽检测方法,其特征在于:所述编码模块包括词嵌入模块以及目标检测模块;

所述将所述待测文档数据输入至所述编码模块中,分别对所述待测文本以及待测图像进行编码处理,获得文本编码表示以及图像编码表示,包括步骤:将所述待测文本输入至所述词嵌入模块中进行编码处理,获得所述文本编码表示,其中,所述文本编码表示包括若干个单词的词嵌入向量;

将所述待测图像划分为若干个图像子区域,将若干个所述图像子区域输入至所述目标检测模块进行目标检测,获得所述图像编码表示,其中,所述图像编码表示包括若干个图像子区域的检测向量。

3.根据权利要求2所述的多模态嘲讽检测方法,其特征在于:所述语义提取模块包括文本语义提取模块以及图像语义提取模块;所述文本语义提取模块包括若干个堆叠的文本语义特征提取层,所述图像语义提取模块若干个堆叠的图像语义特征提取层;

所述将所述文本编码表示以及图像编码表示输入至所述语义提取模块中进行语义特征提取,获得文本语义特征表示以及图像语义特征表示,包括步骤:将所述文本编码表示作为所述文本语义提取模块的首层文本语义特征提取层的输入表示,根据所述文本编码表示依次进行多头自注意力处理以及前向传播处理,获得首层文本语义特征提取层的输出表示,作为下一层文本语义特征提取层的输入表示,直到获得最后一层文本语义特征提取层的输出表示,作为所述文本语义特征表示;

将所述图像编码表示作为所述图像语义提取模块的首层图像语义特征提取层的输入表示,根据所述图像编码表示依次进行前向传播处理以及多头自注意力处理,获得首层图像语义特征提取层的输出表示,作为下一层图像语义特征提取层的输入表示,直到获得最后一层图像语义特征提取层的输出表示,作为所述图像语义特征表示。

4.根据权利要求3所述的多模态嘲讽检测方法,其特征在于,还包括步骤:训练所述多模态嘲讽检测模型,所述训练所述多模态嘲讽检测模型,包括步骤:获得训练文档数据集,将所述训练文档数据集输入至所述多模态嘲讽检测模型,获得若干个训练文档数据的文本情感倾向特征表示、图像情感倾向特征表示以及预测嘲讽概率向量;

根据若干个所述训练文档数据的文本情感倾向特征表示以及图像情感倾向特征表示,分别计算情感倾向概率向量,获得若干个所述训练文档数据的文本情感倾向概率向量以及图像情感倾向概率向量;

根据若干个所述训练文档数据的文本情感倾向概率向量以及图像情感倾向概率向量进行散度损失计算,获得散度损失值;

获得若干个训练文档数据的真实嘲讽概率向量,根据若干个训练文档数据的预测嘲讽概率向量以及真实嘲讽概率向量进行分类损失计算,获得分类损失值;

根据所述散度损失值以及分类损失值,对所述多模态嘲讽检测模型进行训练。

5.根据权利要求4所述的多模态嘲讽检测方法,其特征在于,所述训练所述多模态嘲讽检测模型,还包括步骤:获得若干个训练文档数据的文本至图像全局特征表示以及图像至文本全局特征表示;

根据所述若干个训练文档数据的文本至图像全局特征表示以及图像至文本全局特征表示进行相似度损失计算,获得相似度损失值;

根据所述散度损失值、分类损失值以及相似度损失值,对所述多模态嘲讽检测模型进行训练。

6.一种应用于权利要求1至5任一项所述的多模态嘲讽检测方法的装置,其特征在于,包括:数据获取模块,用于获得待测文档数据以及预设的多模态嘲讽检测模型,其中,所述待测文档数据包括待测文本以及待测图像;所述多模态嘲讽检测模型包括编码模块、语义提取模块、情感倾向检测模块以及嘲讽检测模块;

文档编码模块,用于将所述待测文档数据输入至所述编码模块中,分别对所述待测文本以及待测图像进行编码处理,获得文本编码表示以及图像编码表示;

语义信息提取模块,用于将所述文本编码表示以及图像编码表示输入至所述语义提取模块中进行语义特征提取,获得文本语义特征表示以及图像语义特征表示;

情感信息提取模块,用于将所述文本语义特征表示以及图像语义特征表示输入至所述情感倾向检测模块中进行情感倾向检测,获得文本情感倾向特征表示以及图像情感倾向特征表示;

嘲讽检测结果获取模块,用于将所述文本情感倾向特征表示以及图像情感倾向特征表示输入至所述嘲讽检测模块中进行嘲讽检测,获得所述待测文档数据的嘲讽检测结果。

7.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的多模态嘲讽检测方法的步骤。

8.一种存储介质,其特征在于:所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的多模态嘲讽检测方法的步骤。