1.一种基于新词识别的化工领域分词方法,其特征在于,包括以下步骤:
S1、对获取的中文化工文本进行预处理操作获得切分词语集;
S2、针对各切分词语,获取切分词语的内部凝固度,根据所述内部凝固度和预设的凝固度阈值,从所述多个切分词语集中获取预设数目的切分词语,采用符合聚集性规则构建候选新词集;
所述切分词语内部凝固度获取方法为:将S1中得到的语料从左至右扩展候选词语,计算候选词语与右邻接字的增强信息值,若超过阈值便继续向右扩展,否则从上一位置切分,下一字串的截取位置从此位置作为起始点,继续向右扩展,形成候选未登录词集,用词语本身出现概率与该词语所有二分方法中两个组成部分独立出现的概率乘积比值的最小值来表示某一词语的增强信息值,采用以下公式计算增强信息值;
其中c表示候选词语,len(c)表示词c的长度,c[0:i],c[i:len(c)表示该候选词所有二分方法中两个组成部分;
S3、在所述候选新词集中随机选取L条数据作为训练集的初始规模,每次按照一定的增量增加训练集的规模,将候选新词语的统计量特征作为自变量进行训练新词识别模型,当模型的准确率浮动范围基本不变时停止训练;
S4、将所述候选新词集中除去训练集以外的候选新词语输入模型,进行进一步的成词判断,返回新词集合;
S5、将NLPIR分词结果作为一次分词结果,利用S4得到的新词集合对所述分词结果进行细化分词,得到分词结果,具体步骤包括:S51、利用NLPIR分词算法得到一次分词结果,采用从右向左的顺序对所述分词结果的字符串,与S4得到的新词集合匹配,匹配成功将该字符串切分为词;
S52、如果匹配后词的数目变多或匹配后单字词的数目变多,则不对此次匹配做调整,反之将匹配后的结果作为最终的分词结果。
2.根据权利要求1所述的一种基于新词识别的化工领域分词方法,其特征在于,基于聚集性规则,对得到的候选词进行组合过滤得到候选新词集。
3.根据权利要求2所述的一种基于新词识别的化工领域分词方法,其特征在于,基于聚集性规则,在得到的候选未登录词集中挖掘由2到3个子词组成的新候选未登录词,采用余弦相似度对组合成新候选录词的相邻子词相似度进行比较,过滤掉相似度低的新候选未登录词,得到候选新词集。
4.根据权利要求1所述的一种基于新词识别的化工领域分词方法,其特征在于,步骤S3中,训练新词识别模型包括以下步骤:S31、从S2中得到的候选新词集中随机选取K条数据作为训练集、P条数据作为检验集;
S32、选取L条数据作为训练集的初始规模,按照增量δ增加训练集的规模,当训练的模型在验证集上的准确率浮动范围基本不变时,模型停止训练;
S33、按照模型平衡时的规模在候选新词集中随机抽出数据作为训练集,训练新词识别的神经网络模型;
S34、将所述候选新词集中除去训练集以外的候选新词语分别输入模型,进行进一步的成词判断,得到新词集合。