1.一种融合自编码器和对抗训练的中文新词发现方法,其特征在于以下步骤,包括:步骤1):利用文本重构的自编码器,采用无监督预训练的方式提取句子级别的语义信息;
步骤2):添加先验句法知识,并与字符向量融合,形成字符句法拼接向量;
步骤3):对所述字符句法拼接向量进行对抗训练:将输入源域和目标域的混合数据融入到共享层中,利用对抗架构以生成与领域无关的特征向量;
步骤4):采用条件随机场网络层对步骤3)所述对抗训练后得到的字符序列进行标注,输出整个序列的分词结果,使新词正确包含在分词结果之内。
2.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述融合自编码器和对抗训练的中文新词发现方法包括模型训练过程即步骤1)、步骤
3)和步骤4),还包括微调所述文本重构的自编码器。
3.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述融合自编码器和对抗训练的中文新词发现方法包括模型训练过程,还包括将所述文本重构的自编码器、分词任务、对抗训练进行联合学习。
4.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,利用文本重构的自编码器的方法包括:所述文本重构的自编码器使用双向循环神经网络BiLSTM作为语义信息提取网络的编码器和解码器,首先将输入句子s=c1c2...cn通过嵌入层,将每个字符转化为字符向量ei,然后通过所述编码器得到双向拼接后的语义特征向量hi:在获得相应的语义特征向量hi后,将其输入到所述解码器中,所述解码器用于将语义特征向量hi转换为相应输入的字符,此处采用BiLSTMself作为解码器:vi=BiLSTMself(hi) (4)其中,vi表示BiLSTMself到softmax的中间向量,即每一个时间步的隐向量;表示文本重构的自编码器对输入序列每个字符位置输出预测标签的最大概率; R表示字典向量空间,r为字典大小。
5.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述步骤2)中的先验句法知识为在通用领域预训练完成的句法分析器。
6.如权利要求5所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述步骤2)中形成字符句法拼接向量的方法,包括:使用双向循环神经网络BiLSTM作为共享编码器,输入是源域句子 和目标域句子 的混合数据,其中 表示长度为n的源域句子ssrc第i个字符,表示长度为m的目标域句子stgt第j个字符,以及使用字符来承接所在单词对应的依存关系,每个字符之间的依存关系sdep=dep1,dep2,...,depp;
在输入到双向循环神经网络BiLSTM之前,字符序列信息通过嵌入层,即将每个字符转化为字符向量:源域字符向量序列 目标域字符向量序列依存关系向量序列 其中 表示源域句子第i个字符的字符向量, 表示目标域句子第j个字符的字符向量, 表示句子第k个字符的依存关系向量;
将字符向量与依存关系向量拼接,输入到BiLSTM中,其中, 表示源域的字符向量,表示源域字符向量与依存关系向量拼接后的向量,表示目标域数据的字符向量, 表示目标域字符向量与依存关系向量拼接后的向量:其中,得到源域和目标域的共享特征向量为: 和其中 表示源域句子第i个字符的共享特征向量, 表示目标域句子第j个字符的共享特征向量, d表示BiLSTM隐藏单元的数量。
7.如权利要求1所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述步骤3)中对所述字符句法拼接向量进行对抗训练的方法包括:将共享编码器的输出接入最大池化层;
特征向量可以选择源域 或是目标域 将池化后的特征向量进行二分类,判断领域归属:
D(g;θd)=Sigmoid(Wdg+bd) (9)其中,所述 和 表示共享编码器生成的隐式特征向量,Wd和bd表示Sigmoid二分类内部随机初始化产生的权重矩阵和偏置向量,θd表示领域鉴别器内部参数集合,Wd,bd和θd在模型整体训练时进行更新;
所述步骤4)的具体方法,包括:
分词采用条件随机场网络层进行分词,对于标签序列y的预测输出,选择Softmax激活函数选择最大概率选项:
其中,X表示输入的待识别文本序列,Y表示正确的分词标记序列,Y′代表所有可能组合的分词标记序列, 和 为条件随机场网络层的权重矩阵和偏置向量,hi为条件随机场网络层的隐含向量,表示预测出来的最大概率标记。
8.如权利要求2所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,所述模型训练过程的微调所述文本重构的自编码器,包括:根据步骤1)得到预训练文本重构的自编码器中源域和目标域的语义特征向量和
拼接处理: 其中Hs=hs1,hs2,...,hsn,Ht=ht1,ht2,...,htm;
根据公式(8)‑(11)将所述 和 所代表的语义信息融入到分词任务中,更新自编码器的公式如下:
vi′=BiLSTMself(hi;θpre) (12)其中,vi′表示BiLSTMself到softmax的中间向量,即每一个时间步的隐向量; 表示文本重构的自编码器对输入序列每个字符位置输出预测标签的最大概率; R表示字典向量空间,r为字典大小,θpre为预训练自编码器参数。
9.如权利要求3所述的一种融合自编码器和对抗训练的中文新词发现方法,其特征在于,将所述文本重构的自编码器、分词任务、对抗训练进行联合学习的方法,包括:最终损失函数如下:
s t
L=α(R+R)+βLseg+γLD (18)其中,α表示文本重构的自编码器的损失函数占比系数,β表示条件随机场网络层的损s t
失函数占比系数,γ表示对抗训练的损失函数占比系数,并且α+β+γ=1;其中,R+R 为文本重构的自编码器的损失函数;Lseg为对数似然损失函数;LD为对抗训练中所采用的损失函数;
优选的,文本重构的自编码器的损失函数为交叉熵作损失函数:其中 表示模型计算得到的源域句子第i个字符在字典数量类别上的概率分布向量, 表示该字符类别的真实标签,r表示字典大小,n表示源域句子的长度; 表示模型计算得到的目标域句子第j个字符在字典数量类别上的概率分布向量, 表示该字符类别的真实标签,m表示目标域句子的长度;
优选的,所述条件随机场网络层使用对数似然损失函数定义如下:其中,G表示所有训练数据,包括源域和目标域,表示模型预测出的字符标签,λ是L2正则化的参数,Θ代表模型参数集合;
所述对抗训练,采用损失函数如下:其中,Ds,Dt分别表示源域和目标域的全部数据,并且di∈{0,1},在此定义标签0表示数据来源于源域,标签1表示数据来源于目标域; 表示sigmoid函数预测出来的概率。
10.一种实现中文新词发现方法的装置,其特征在于,包括:文本重构的自编码器、先验句法与字符拼接模块和对抗训练模块;
所述文本重构的自编码器根据用户输入的语句信息,利用源域数据和目标域数据形成字符向量,所述字符向量经过编码器和解码器生成更新的源域数据和目标域数据;
所述先验句法与字符拼接模块根据用户输入的语句信息和先验句法知识得到文本依存句法关系,然后生成字符‑句法拼接向量;其中,所述生成字符‑句法拼接向量之前的数据输入包括所述文本重构的自编码器中形成的字符向量;
所述对抗训练模块包括共享编码器、领域鉴别器和文本分词模块;所述字符‑句法拼接向量通过共享编码器经文本分词模块最后输出分词结果,新词包含在分词结果内;其中,共享编码器的输出数据还用于更新文本重构的自编码器中的源域和目标域的语义特征向量;
所述装置的输入包括:源域文本数据输入、目标域文本数据输入、相关句法知识输入。