利索能及
我要发布
收藏
专利号: 2024113282936
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,包括以下步骤:

(1)采集由多人参与的交互式会话记录,进行数据清洗,构建参与者会话队列(2)根据参与者会话队列 和身份属性信息,对话语和会话属性之间的依赖关系进行建模,并创建语境增强的交互式话语列表;然后,构建一个由提示驱动的情绪模板生成器,该生成器基于上述话语列表中的内容,生成情绪感知增强的个性化话语表达Ri;

(3)将话语Ri进行数值化处理,得到话语Ri的数字化表示Vi;然后将Vi输入SimCSE模型中得到句子的情感嵌入特征Ei;

(4)构建情绪编码器EmoNet,包括一个全连接层FC_1、时序感知模块TAM、标准化层NL、全局平均池化层AL、全连接层FC_2和Logits层;将所有的情感嵌入特征e组织为数量相同的批次,其中,每个批次的数据表示为e={e1,e2,…,eB},对应的情感标签为Y={y1,y2,…,yB},B表示一个批次中样本的数量;

(5)依次将每批次的数据e输入EmoNet网络,计算每个批次数据的信息熵损失CE和正则化对比学习损失NSCL;将损失CE和NSCL融合为混合对比学习损失HSCL,训练EmoNet网络;

(6)使用训练好的EmoNet进行情感分类,首先对新输入的数据进行预处理,然后输入EmoNet网络得到Logits层输出的预测矩阵,利用函数argmax()选出概率最大的对应的类别作为新输入数据的情感类别;

所述步骤(4)实现过程如下:

首先,定义情绪编码器EmoNet的输入数据 b表示该批次中样本的数量,l为向量ei的序列长度,d为向量ei的维度;矩阵e通过全连接层FC_1,其权重矩阵为 和偏置向量为 h为自定义参数,经过ReLU激活函数后得到输出H1=ReLU(eW1+b1),尺寸为 然后,输出H1通过时序感知模块TAM,输出保持相同尺寸为 接着,H2与H1进行逐元素相加,得到混合特征H3,其尺寸为 H3经过正则化NL处理,得到标准化后的输出H4=LayerNorm(H3),尺寸为 接下来,标准化后的输出H4通过全局平均池化层AL对序列长度所在的维度l进行全局平均池化,得到每个样本的全局特征表示其尺寸为 然后,全局特征表示H5通过全连接层FC_2,其权h×d

重矩阵为W2∈R 和偏置向量为 经过ReLU激活函数后得到输出H6=ReLU(H5W2+b2),其尺寸为 最后,H6通过Logits层,其权重矩阵为 和偏置向量为得到最终的预测矩阵 其尺寸为 cl为最终的情感类别数量;

b×cl

输入矩阵e经过每一层的处理,最终得到预测矩阵 其尺寸为R ;

时序感知模块TAM由扩张因果卷积层、正则化层、ReLU激活函数层、和Dropout层组成;

首先,通过扩张因果卷积层fDCC(x)对输入序列进行编码,引入时序关联性;接着,正则化层fNL(x′)对输出进行标准化处理,以提高训练稳定性;随后,ReLU激活函数fReLU(x”)添加非线性,增强模型复杂性处理能力;最后,Dropout层fdropout(x”)被应用以减少过拟合;整个流程表示为:H2=fDropout(fReLU(fNL(fDCC(H1))))其中,H2为最终的模块输出,维持与输入相同的尺寸,确保了模块对于时间序列数据的有效处理同时维护了数据的维度一致性。

2.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,步骤(1)所述交互式会话记录包括话语、会话者类型、会话者姓名和会话者年龄。

3.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,步骤(1)所述进行数据清洗,包括去除会话记录中大量非结构化信息,包括语音、图片、表情符号;然后删除无意义词语和停用词,纠正错误的信息;最后,在会话中每句话语后加入标识符作为话语结束的标记。

4.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,步骤(1)所述构建参与者会话队列,包括根据交互式会话中语句的先后顺序,构建所有交互式会话的话语列表ui=[u1,u2,…,uN],其中,N是会话中所有话语的数量;然后定义每个话语ui的发言者姓名表示为p(ui)=[p(u1),p(u2),…,p(uN)],其中p(ui)∈P,P是对话中所有参与者姓名的集合;每个话语ui的说话者性别为g(ui)={g(u1),g(u2),…,g(uN)},其中,g(ui)∈G,G=["male","female"];接着创建第i句话语的会话队列 考虑情绪走向,在列表ui的第i句话语的前面执行4次前向搜索,将搜索到的内容依次添加到 中,此时第i句话语的会话队列 其中, 的长度为5,队列采用先入先出的方式。

5.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,所述步骤(2)实现过程如下:

语境增强的交互式话语列表,包括定义发言者年龄表示为a(ui)={a(u1),a(u2),…,a(uN)},其中,a(ui)∈A,A是对话中所有参与者的年龄的集合;将 ui、说话者姓名p(ui)、说话者性别g(ui)、说话者年龄a(ui)进行合并,得到包含交互式会话语境的话语列表 具体公式如下:构建提示驱动的情绪模板生成器,包括将列表 输入情绪模板生成器,然后特殊令牌充当占位符,接着对情绪内容进行补全,生成高度符合情绪逻辑的话语Ri,具体为:

6.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,所述步骤(3)实现过程如下:

数值化处理:将话语Ri作为参数传入transformer库中tokenizer函数,得到Ri的词汇级标记化序列N=[token1,token2,…,token126],其中token1是Ri中的单个单词映射到SimCSE模型的词汇表中的一个唯一索引;然后在序列N前后分别加入符号[CLS]和[SEP],最终将原始文本Ri转换为模型能够处理的数字化表示Vi,具体为:Vi=[[CLS],token1,token2,…,token126,[SEP]];

获取句子嵌入特征:将话语的数字化表示Vi输入SimCSE模型,得到Vi的句子嵌入特征l是Vi中元素的数量,d是SimCSE模型输出的特征向量的维度;然后筛选出由令牌标记的向量ei作为话语ui的情感嵌入表示。

7.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,所述步骤(5)实现过程如下:

对于预测矩阵 softmax()函数将每个样本的预测值转换为概率分布;对于第i个样本,第j个类别的概率计算如下:

对于输入矩阵e,对应的真实情感标签矩阵为 其中每个样本的真实类别用one‑hot编码表示,损失函数CE的计算公式为:对于输入矩阵e中的每个样本ei,与ei属于同一个类别的样本都为正样本,其它的样本都属于负样本;首先分别计算正样本的分数和负样本的分数,然后用损失函数NSCL计算一个训练批次中样本的总体损失,计算公式如下:其中,函数 表示计算ei和en之间的余弦相似度,用来量化情感嵌入特征之间的相似度;τ是一个标量参数,τ∈R+;索引i表示矩阵e中的第i个数据;集合P(i)中的样本与ei属于相同类别,称为正样本;en是与ei属于不同类别的负样本集; 表示所有正样本的分数,而 表示一个批次中所有负样本的分数;ε是一个非负的极小正数;|P(i)|表示集合P(i)的大小;

根据损失函数 计算一个批次中每个样本的损失,获得损失向量L=[l1,l2,...,lB]之后,B代表的是批次的大小,则一个批次的总损失计算如下:其中,∈表示一个很小的正数,用于防止分母为零,确保计算的稳定性;I>α(l)为指示函数,定义为:根据计算出的CE损失和正则化损失函数HSCL,计算混合对比学习损失函数HSCL:

8.根据权利要求1所述的融合交互式会话语境和会话者身份属性的情感识别方法,其特征在于,步骤(6)所述情感类别包括“中性”,“惊讶”,“害怕”,“伤心”,“开心”,“厌恶”,“生气”。