欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021110162623
申请人: 华南师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种跨领域文本情感分类方法,其特征在于,包括:

获取目标领域文本以及标注有情感类别标签的源领域文本;

建立跨领域文本情感分类模型,所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块;所述第一双通道特征提取模块包括第一语义提取模块和第一句法提取模块;所述第一语义提取模块包括依次连接的第一双向门控循环单元、第一软注意力机制模型、第二双向门控循环单元以及第一卷积神经网络注意模型;所述第一句法提取模块包括依次连接的第三双向门控循环单元、第一图注意力机制模型以及第二卷积神经网络注意模型;所述第二双通道特征提取模块包括第二语义提取模块和第二句法提取模块;所述第二语义提取模块包括依次连接的第四双向门控循环单元、第二软注意力机制模型、第五双向门控循环单元以及第三卷积神经网络注意模型;所述第二句法提取模块包括依次连接的第六双向门控循环单元、第二图注意力机制模型以及第四卷积神经网络注意模型;所述第一领域适应模块包括第一情感分类器、第一梯度反转层和第一领域鉴别器、以及第一标签探测器;所述第二领域适应模块包括第二情感分类器、第二梯度反转层和第二领域鉴别器、以及第二标签探测器;

将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取,获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示;

所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示;其中,将所述源领域文本输入至所述第一双向门控循环单元进行编码,获得第一隐藏层状态表示;将所述第一隐藏层状态表示输入至所述第一软注意力机制模型,获得所述源领域文本中每个单词的注意力权重;根据所述第一隐藏层状态表示和所述每个单词的注意力权重,获得句子的特征表示;将所述句子的特征表示输入至所述第二双向门控循环单元进行编码,获得句子的隐藏层状态表示;将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型,获得所述源领域文本中每个句子的注意力权重;根据所述句子的隐藏层状态表示和所述每个句子的注意力权重,获得所述源领域文本的第一语义通道表示;将所述源领域文本输入至所述第三双向门控循环单元进行编码,获得第二隐藏层状态表示;将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取,获得所述源领域文本的状态向量;将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取,获得所述源领域文本的第一句法通道表示;将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接,获得所述源领域文本的第一特征表示;

将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取,获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示;所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示;其中,将所述源领域文本输入至所述第四双向门控循环单元进行编码,获得第三隐藏层状态表示;将所述第三隐藏层状态表示输入至所述第二软注意力机制模型,获得所述源领域文本中每个单词的注意力权重;根据所述第三隐藏层状态表示和所述每个单词的注意力权重,获得句子的特征表示;将所述句子的特征表示输入至所述第五双向门控循环单元进行编码,获得句子的隐藏层状态表示;将所述句子的隐藏层状态表示输入至所述第三卷积神经网络注意模型,获得所述源领域文本中每个句子的注意力权重;根据所述句子的隐藏层状态表示和所述每个句子的注意力权重,获得所述源领域文本的第二语义通道表示;将所述源领域文本输入至所述第六双向门控循环单元进行编码,获得第四隐藏层状态表示;将所述第四隐藏层状态表示输入至所述第二图注意力机制模型进行句法依存关系提取,获得所述源领域文本的状态向量;将所述源领域文本的状态向量输入至所述第四卷积神经网络模型进行特征提取,获得所述源领域文本的第二句法通道表示;将所述源领域文本的第二语义通道表示和所述源领域文本的第二句法通道表示拼接,获得所述源领域文本的第二特征表示;

将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块,将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块,通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练,以提取所述目标领域的文本与所述源领域的文本的不变领域特征,获得训练好的跨领域文本情感分类模型;其中,将所述源领域文本的第一特征表示输入至所述第一情感分类器,得到源领域文本情感类别第一预测值;将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器,获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果;

其中,通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器,使所述第一领域鉴别器无法判别文本的领域来源,以提取领域不变特征;将所述目标领域文本的第一特征表示输入至所述第一情感分类器,获得目标领域文本情感类别第一预测值,将所述目标领域的文本的第二特征表示输入至所述第二标签探测器,获得所述目标领域文本情感类别第二伪标签;将所述源领域文本的第二特征表示输入至所述第二情感分类器,得到源领域文本情感类别第二预测值;将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器,获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果;其中,通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器,使所述第二领域鉴别器无法判别文本的领域来源,以提取领域不变特征;将所述目标领域文本的第二特征表示输入至所述第二情感分类器,获得目标领域文本情感类别第二预测值,并所述目标领域的文本的第一特征表示输入至所述第一标签探测器,获得所述目标领域文本情感类别第一伪标签;根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别的第二预测值和源领域文本情感类别标签,最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数;根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果,述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果,最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数;根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签,根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签,最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数;对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化,获得训练好的跨领域文本情感分类模型;

将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中,获得情感分类结果。

2.根据权利要求1所述的跨领域文本情感分类方法,其特征在于,所述跨领域文本情感分类模型的损失函数包括第一目标损失函数和第二目标损失函数,通过最小化所述第一目标损失函数和所述第二目标损失函数,对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化,所述第一目标损失函数为:LG1=Lcls1+λMLdom1+λDLml2

其中,λM和λD为超参数, Lcls1为所述第一情感分类器的

情感分类损失函数, 为标注的所述源领域文本的第一情感类别标签, 为所述源领域文本情感类别第一预测值, 为所述源领域文本的第一特征表示;其中,Ldom1为所述第一领域

鉴别器的对抗网络学习损失函数, 为所述源领域文本的领域第一鉴别结果,为所述目标领域文本的领域第一鉴别结果;其中,

Lml2为所述第二标签探测器的相互学习

损失函数, 为所述目标领域文本的第一特征表示, 为所述目标领域文本的第二特征表示, 为所述目标领域文本情感类别第一预测值, 为所述目标领域文本情感类别第二伪标签;

所述第二目标损失函数为:

LG2=Lcls2+λMLdom2+λDLml1

其中, Lcls2为第二情感分类器的情感分类损失函数,

为标注的所述源领域文本的第二情感类别标签, 为所述源领域文本情感类别第二预测值, 为所述源领域文本的第二特征表示;其中,

Ldom2为所述第二领域鉴别

器的对抗网络学习损失函数, 为所述源领域文本的领域第二鉴别结果, 为所述目标领域文本的领域第二鉴别结果;其中,

Lml1为所述第一标签探测器的相互学习

损失函数, 为所述目标领域文本情感类别第二预测值, 为所述目标领域文本情感类别第一伪标签。

3.一种跨领域文本情感分类装置,其特征在于,包括:

文本获取模块,用于获取目标领域文本以及标注有情感类别标签的源领域文本;

模型建立模块,用于建立跨领域文本情感分类模型,所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块;所述第一双通道特征提取模块包括第一语义提取模块和第一句法提取模块;所述第一语义提取模块包括依次连接的第一双向门控循环单元、第一软注意力机制模型、第二双向门控循环单元以及第一卷积神经网络注意模型;所述第一句法提取模块包括依次连接的第三双向门控循环单元、第一图注意力机制模型以及第二卷积神经网络注意模型;所述第二双通道特征提取模块包括第二语义提取模块和第二句法提取模块;所述第二语义提取模块包括依次连接的第四双向门控循环单元、第二软注意力机制模型、第五双向门控循环单元以及第三卷积神经网络注意模型;所述第二句法提取模块包括依次连接的第六双向门控循环单元、第二图注意力机制模型以及第四卷积神经网络注意模型;所述第一领域适应模块包括第一情感分类器、第一梯度反转层和第一领域鉴别器、以及第一标签探测器;所述第二领域适应模块包括第二情感分类器、第二梯度反转层和第二领域鉴别器、以及第二标签探测器;

第一双通道特征提取模块,用于将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取,获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示;所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示;其中,将所述源领域文本输入至所述第一双向门控循环单元进行编码,获得第一隐藏层状态表示;将所述第一隐藏层状态表示输入至所述第一软注意力机制模型,获得所述源领域文本中每个单词的注意力权重;根据所述第一隐藏层状态表示和所述每个单词的注意力权重,获得句子的特征表示;将所述句子的特征表示输入至所述第二双向门控循环单元进行编码,获得句子的隐藏层状态表示;将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型,获得所述源领域文本中每个句子的注意力权重;根据所述句子的隐藏层状态表示和所述每个句子的注意力权重,获得所述源领域文本的第一语义通道表示;将所述源领域文本输入至所述第三双向门控循环单元进行编码,获得第二隐藏层状态表示;将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取,获得所述源领域文本的状态向量;将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取,获得所述源领域文本的第一句法通道表示;将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接,获得所述源领域文本的第一特征表示;

第二双通道特征提取模块,用于将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取,获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示;所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示;其中,将所述源领域文本输入至所述第四双向门控循环单元进行编码,获得第三隐藏层状态表示;将所述第三隐藏层状态表示输入至所述第二软注意力机制模型,获得所述源领域文本中每个单词的注意力权重;根据所述第三隐藏层状态表示和所述每个单词的注意力权重,获得句子的特征表示;将所述句子的特征表示输入至所述第五双向门控循环单元进行编码,获得句子的隐藏层状态表示;将所述句子的隐藏层状态表示输入至所述第三卷积神经网络注意模型,获得所述源领域文本中每个句子的注意力权重;根据所述句子的隐藏层状态表示和所述每个句子的注意力权重,获得所述源领域文本的第二语义通道表示;将所述源领域文本输入至所述第六双向门控循环单元进行编码,获得第四隐藏层状态表示;将所述第四隐藏层状态表示输入至所述第二图注意力机制模型进行句法依存关系提取,获得所述源领域文本的状态向量;将所述源领域文本的状态向量输入至所述第四卷积神经网络模型进行特征提取,获得所述源领域文本的第二句法通道表示;将所述源领域文本的第二语义通道表示和所述源领域文本的第二句法通道表示拼接,获得所述源领域文本的第二特征表示;

模型训练模块,用于将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块,将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块,通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练,以提取所述目标领域的文本与所述源领域的文本的不变领域特征,获得训练好的跨领域文本情感分类模型;其中,将所述源领域文本的第一特征表示输入至所述第一情感分类器,得到源领域文本情感类别第一预测值;将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器,获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果;其中,通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器,使所述第一领域鉴别器无法判别文本的领域来源,以提取领域不变特征;将所述目标领域文本的第一特征表示输入至所述第一情感分类器,获得目标领域文本情感类别第一预测值,将所述目标领域的文本的第二特征表示输入至所述第二标签探测器,获得所述目标领域文本情感类别第二伪标签;将所述源领域文本的第二特征表示输入至所述第二情感分类器,得到源领域文本情感类别第二预测值;将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器,获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果;

其中,通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器,使所述第二领域鉴别器无法判别文本的领域来源,以提取领域不变特征;将所述目标领域文本的第二特征表示输入至所述第二情感分类器,获得目标领域文本情感类别第二预测值,并所述目标领域的文本的第一特征表示输入至所述第一标签探测器,获得所述目标领域文本情感类别第一伪标签;根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别的第二预测值和源领域文本情感类别标签,最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数;根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果,述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果,最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数;根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签,根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签,最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数;对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化,获得训练好的跨领域文本情感分类模型;

结果获得模块,用于将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中,获得情感分类结果。

4.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至2中任意一项所述的跨领域文本情感分类方法。

5.一种计算机可读存储介质,其上储存有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至2中任意一项所述的跨领域文本情感分类方法。