1.一种基于支持向量机的文本分类方法,其特征在于,所述方法包括:解析接收的文本分类请求,获取语料集,其中,所述语料集中包含有多种类别的语料集;
将所述语料集输入至预设的词向量提取模型中,得到每个词的低维词向量,其中,所述词向量提取模型中包含有Encode模型,及与所述Encode模型连接的Transform层;
将每个词的低维词向量输入至自注意力层,计算每个词的低维词向量的加权词向量,包括:
为所述每个词的低维词向量创建query词向量、key词向量和value词向量;
获取预先训练好的query词向量的注意力权重矩阵、key词向量的注意力权重矩阵和value词向量的注意力权重矩阵;
计算每个词的query词向量与query词向量的注意力权重矩阵的内积,得到每个词的目标query词向量;
计算每个词的key词向量与key词向量的注意力权重矩阵的内积,得到每个词的目标key词向量;
计算每个词的value词向量与value词向量的注意力权重矩阵的内积,得到每个词的目标value词向量;
将每个词的目标query词向量、目标key词向量及目标value词向量确定为每个词的加权词向量;
将每个词的加权词向量输入至支持向量机层中进行高维映射,得到每个词的高维词向量;
基于预设的多类SVM损失函数对多个词的高维词向量进行分类预测,得到分类结果。
2.如权利要求1所述的基于支持向量机的文本分类方法,其特征在于,所述将每个词的加权词向量输入至支持向量机层中进行高维映射,得到每个词的高维词向量包括:采用预设的核函数,在支持向量机层将每个词的加权词向量映射到高维空间进行线性变换,得到每个词的高维词向量。
3.如权利要求1所述的基于支持向量机的文本分类方法,其特征在于,所述将所述语料集输入至预设的词向量提取模型中,得到每个词的低维词向量包括:对所述语料集中的每个语料进行文本预处理,得到目标语料;
对所述目标语料进行文本分割,得到多个词;
将所述多个词输入至Encode模型中进行编码,得到每个词的编码向量;
将每个词的编码向量及每个词的位置信息输入至Transform层,得到每个词的低维词向量。
4.如权利要求1所述的基于支持向量机的文本分类方法,其特征在于,所述基于预设的多类SVM损失函数对多个词的高维词向量进行分类预测,得到分类结果包括:基于预设的多类SVM损失函数计算任意一个类别的第一损失值;
计算多种类别的第一损失值的均值得到第二损失值;
基于所述第二损失值对所述多个词的高维词向量进行分类预测,得到分类结果。
5.如权利要求4所述的基于支持向量机的文本分类方法,其特征在于,所述预设的多类SVM损失函数采用如下公式表示:其中,i代表第i个词,j代表第j个种类,yi代表第i个词对应的真实种类,N代表所述语料集中词的总数,xi代表每个词的高维词向量,W代表多个词的权重集,λ代表每个词的权重,R(W)代表正则化损失。
6.如权利要求1所述的基于支持向量机的文本分类方法,其特征在于,所述解析接收的文本分类请求,获取语料集包括:解析文本分类请求,获取对应的目标领域;
根据所述目标领域获取预设的多个数据源;
识别预设的每个数据源对应的接口及优先级别;
根据所述预设的多个数据源的优先级别将所述多个接口组成获取语料集环节的接口列表;
按照预设的获取方式从所述接口列表的队头开始调用对应的接口获取语料集。
7.一种基于支持向量机的文本分类装置,其特征在于,所述装置包括:获取模块,用于解析接收的文本分类请求,获取语料集,其中,所述语料集中包含有多种类别的语料集;
第一输入模块,用于将所述语料集输入至预设的词向量提取模型中,得到每个词的低维词向量,其中,所述词向量提取模型中包含有Encode模型,及与所述Encode模型连接的Transform层;
计算模块,用于将每个词的低维词向量输入至自注意力层,计算每个词的低维词向量的加权词向量,包括:为所述每个词的低维词向量创建query词向量、key词向量和value词向量;获取预先训练好的query词向量的注意力权重矩阵、key词向量的注意力权重矩阵和value词向量的注意力权重矩阵;计算每个词的query词向量与query词向量的注意力权重矩阵的内积,得到每个词的目标query词向量;计算每个词的key词向量与key词向量的注意力权重矩阵的内积,得到每个词的目标key词向量;计算每个词的value词向量与value词向量的注意力权重矩阵的内积,得到每个词的目标value词向量;将每个词的目标query词向量、目标key词向量及目标value词向量确定为每个词的加权词向量;
第二输入模块,用于将每个词的加权词向量输入至支持向量机层中进行高维映射,得到每个词的高维词向量;
分类预测模块,用于基于预设的多类SVM损失函数对多个词的高维词向量进行分类预测,得到分类结果。
8.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至6中任意一项所述的基于支持向量机的文本分类方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的基于支持向量机的文本分类方法。