利索能及
我要发布
收藏
专利号: 2022106148172
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的中文文本分类方法,其特征在于,所述方法包括以下步骤:

1)首先对输入文本进行预处理操作,过程如下:去除停用词、特殊符号;利用Jieba中文分词工具进行分词处理,得到w1,w2,w3,···,wn,接着运用Word2Vec中文预训练模型输出每一个单词所对应的词向量,用c1,c2,c3,···,cn表示,词向量组c1,c2,c3,···,cn记作矩阵WC;运用训练好的LDA模型输出文本的主题‑词矩阵记为WT,最后将矩阵WC和矩阵WT按对应向量进行拼接操作得到n×dmodel维矩阵WE,dmodel为词向量维数,满足WE=[WC,WT] (1)

2)将矩阵WE输入至编码器,首先进行位置编码得到矩阵P,计算过程说明如下:

3)将矩阵P与矩阵WE相加得到最终的n×dmodel维词嵌入矩阵WI,公式如下:WI=WE+P (3)

4)将矩阵输入WI至自注意力机制,生成n×dmodel维矩阵M,公式如下:Q=WI×WQ (5)

K=WI×WK (6)

V=WI×WV (7)

其中,WQ、WK、WV为可训练dmodel维参数方阵,dk为可调超参数;

5)将矩阵M和WI进行残差与归一化操作,得到n×dmodel维矩阵N1,公式如下:N1=LayerNorm(Μ+WI) (8)

6)将矩阵N1输入至前馈神经网络,得到n×dmodel维矩阵F,公式如下:F=max(0, N1W1+B1)W2+B2 (9)其中W1、W2为神经网络权重矩阵,B1、B2为神经网络偏置项;

7)下一步,将矩阵WI输入至单隐藏层循环神经网络,将每一个时刻隐藏层输出向量保存,记为矩阵R1,dr为RNN网络维数;

8)将矩阵R1进行线性变换为n×dmodel维矩阵 公式如下其中,WL为dr×dmodel维可训练参数矩阵;

9)将矩阵 F、以及N1进行残差和归一化操作得到矩阵N2,公式如下

10)取矩阵N2的首个向量输入至分类器,首先经过前馈神经网络,输出df维向量f,公式如下:f=(vCLS·w1+b1)w2+b2 (12)其中,vCLS为N2的首个向量,w1、w2为神经网络权重,b1、b2为神经网络偏置项,df为神经网络维数;

11)将向量f元素进行Softmax运算,数值最大的维度便对应文本类别yp,公式如下:yp=softmax(f) (13)

12)通过交叉熵损失函数来训练模型参数,模型参数包括矩阵元素与神经网络权重及偏置项,损失函数如下所示:其中,S为训练样本总数,yt为真实类别,yp为预测类别。