1.一种N‑Gram模型的建立方法,包括如下步骤:S1.获取原始语料;
S2.对步骤S1获取的原始语料进行分词;
S3.对步骤S2得到的分词结果进行单词统计;
S4.对N‑Gram模型进行平滑处理,从而得到最终的N‑Gram模型;采用基于Witten‑Bell平滑的平滑处理;具体为采用如下步骤进行处理:A.采用如下公式计算条件概率和回退率:若为一元文法数,则:
条件概率
回退率
若为n元文法数,则:
条件概率
回退率
1 1
式中c(w)为一元文法数的单词词频;c(*)为语料所有一元文法数的词频总和;n(w)为一元文法数的后接单词分支数; 为n元文法数(wi‑n+1wi‑n+2..wi)的频数;
为n‑1元文法数(wi‑n+1wi‑n+2..wi‑1)的频数; 为n元文法数(wi‑n+1wi‑n+2..wi)的后接单词分支数; 为n‑1元文法数(wi‑n+1wi‑n+2..wi‑1)的后接单词分支数;
B.采用步骤A得到的条件概率和回退率,构建平滑后最终的N‑Gram模型。
2.根据权利要求1所述的N‑Gram模型的建立方法,其特征在于步骤S1所述的获取原始语料,具体为通过python爬虫在互联网上进行文本信息的查找,从而获取原始语料。
3.根据权利要求1所述的N‑Gram模型的建立方法,其特征在于步骤S2所述的分词,具体为采用dict字典文件进行分词。
4.根据权利要求1所述的N‑Gram模型的建立方法,其特征在于步骤S3所述的单词统计,具体为采用Spark RDD编程进行原始语料的词频统计。
5.根据权利要求4所述的N‑Gram模型的建立方法,其特征在于步骤S4所述的对N‑Gram模型进行平滑处理,具体为采用分布式平台对每一个文法数的条件概率和回退率进行计算,从而提高数据处理的效率。
6.根据权利要求5所述的N‑Gram模型的建立方法,其特征在于所述的N‑Gram模型的建立方法,还包括如下步骤:
S5.利用Hbase数据库存储每一个文法数的条件概率和回退率,从而提高N‑Gram模型在应用时的数据读取效率。