1.一种面向机械化工领域的中文实体识别方法,包含如下步骤:
步骤1,采取短文本预处理来提取有效内容;
步骤2,采用经过词典优化的中文分词器进行中文分词和词性标注筛选出名词;
步骤3,利用词频与类优先级函数所构成的权重函数用作权重计算同时基于规则式优化加权提取短文本最高权重关键词;所述的提取短文本最高权重关键词所使用的权重函数,提取关键词策略为基于TF‑IDF关键词提取策略的增强改进版,TF‑IDF策略为常用文本分类统计方法,词频*逆向文件频率作为加权即tfi,j*idfi;其中:因为逆向文件频率idfi在短文本中的提取识别效率极低,故用类优先级函数
作为替代,权重函数则优化为tfi,j*f(t),其中t=实体为最终关键词个数/该实体在全部短文本中作为候选关键词个数,即t代表了候选关键词成为最终词的强度,理想范围为[0,1],当t→0时,代表该词不可能成为最终词,当t→1时代表了该词出现必然为最终词,因而利用函数变化通过f(t)在不影响函数实际作用凹凸性的情况下将范围放大,使权重差距变大从而更利于体现t的作用,其核心目标为提高最终关键词命中概率,常数1.01是为了防止实际运行中出现除数为0的情况;
在实际运行中当出现t>1的情况,进行范围修正,范围修正为将所有t除以tmax从而保证范围t<=1;
所述的规则式优化加权具体包括:
因为f(t)为全监督学习,当训练集太过紊乱导致f(t)存在明显误差,实际情况一个短文本可能包含多个最终关键词,或t不存在时,即代表了该词未曾出现,此时类优先级函数无效;此时采取规则式优化加权,其中规则式包含但不仅限于利用结果集聚类产生的某一特征,包括产品实体占据短文本的相对位置、产品实体的字符大小范围;
设有n个规则式,结果集符合规则式的占取百分比分别为x1,x2,x3,……x1,当xn>0.5时,则认为该规则式具有较大实用性,在权重函数的基础上增加权重其中C为常数,实际上代表了规则式在总权重的占比,默认置为1/n,在资源足够时为了达到较优的常数C,使用部分运行结果基于梯度下降求得较优解,特征值为两部分分别为权重函数和加权函数;加权函数本质上为sigmoid激活函数的逆函数,故实际上当xn<0.5也可参与优化加权但影响不佳,可发现当xn<0.5时加权函数为负,为减少运行成本舍去;
步骤4,搜索权重最高关键词的上下文同时基于构建的有向概率状态转化图来进行关键词的上下文扩展从而形成目标实体。
2.如权利要求1所述的一种面向机械化工领域的中文实体识别方法,其特征在于:步骤
1所述的短文本预处理具体包括:
步骤1‑1,文本正则;为了处理脏数据,文本正则包括纯中文的提取并且无视短文本所有括号中的内容,其中括号内容为特殊注释,对实体识别无明显作用故舍去;
步骤1‑2,特殊词的处理;机械化工类短文本含有包含了产品名称和产品型号的独有的特征,“型号”、“规格”、“规格型号”的词能帮助快速直接定位目标产品实体所在的位置,在定位型号的位置后只需在上下文寻找产品名称即可,即直接将上下文作为候选关键词,能减少在关键词提取步骤中的消耗,无需将短文本中的全部名词当作候选关键词去使用权重公式,或者直接当作步骤3中的规则式,能提高识别准确率。
3.如权利要求1所述的一种面向机械化工领域的中文实体识别方法,其特征在于:步骤
2所述的词典优化是对于中文分词器的词典优化,包括添加停止词和自定义词典、根据识别结果统计更新语料库。
4.如权利要求1所述的一种面向机械化工领域的中文实体识别方法,其特征在于:步骤
4所述的构建有向概率状态转化图具体包括:
由于筛选的实体关键词都是名词,因此概率状态转化图的初始状态均为名词n,根据训练集查找上下文进行所有的状态统计并计算转化成该状态的概率形成有向图,包括如下步骤:步骤4‑1,统计结果集词性组合;即统计目标结果自身的词性组合,产品名称可能不仅仅由单个名词形成,可能由多个不同词性的词组成,因而统计结果集所有词性组合作为有向状态概率转化图的最终状态并且以此作为概率计算的其中一环;
步骤4‑2,统计仅有一个名词的上下文组合;一部分结果集由单个名词组成,统计该部分的原短文本上下文词性组合,这些词性组合统计的数量代表了由单名词不转化成该词性组合数量,将其作为概率计算的另一环;
步骤4‑3,将两个统计结果进行概率转化形成状态转化概率图;由步骤4‑1获得了由单名词可转化成某一词性组合的统计数量 由步骤4‑2获得由单名词无法转化成该词性组合的统计数量 根据概率计算公式即可计算出状态转化概率;
使用有向概率状态转化图时需查找遍历比较状态转化概率以判断是否进行上下文的拓展;当状态转化概率Pk大于0.5进行转化,或者当状态转化概率Pk小于0.5进行转化,当状态转化概率Pk小于0.5进行转化时状态转化标准确定过程如下:状态转化成功的数量=进行状态转化的数量*状态转化的准确率,此时使用少量数据结果结合最小二乘法拟合出状态转化成功数量与状态转化概率之间的二次曲线,之后取出当状态转化成功数量最多时的状态转化概率参数作为状态转化标准。
5.实施权利要求1所述的一种面向机械化工领域的中文实体识别方法的系统,其特征在于:包括依次连接的短文本预处理模块、中文分词和词性标注模块、权重计算和规则式优化加权模块、关键词搜索和扩展模块,其中:短文本预处理模块采取短文本预处理来提取有效内容,述的短文本预处理具体包括:
步骤1‑1,文本正则;为了处理脏数据,文本正则包括纯中文的提取并且无视短文本所有括号中的内容,其中括号内容为特殊注释,对实体识别无明显作用故舍去;
步骤1‑2,特殊词的处理;机械化工类短文本含有包含了产品名称和产品型号的独有的特征,“型号”、“规格”、“规格型号”的词能帮助快速直接定位目标产品实体所在的位置,在定位型号的位置后只需在上下文寻找产品名称即可,即直接将上下文作为候选关键词,能减少在关键词提取步骤中的消耗,无需将短文本中的全部名词当作候选关键词去使用权重公式,或者直接当作步骤3中的规则式,能提高识别准确率;
中文分词和词性标注模块采用经过词典优化的中文分词器进行中文分词和词性标注筛选出名词,所述的词典优化是对于中文分词器的词典优化,包括添加停止词和自定义词典、根据识别结果统计更新语料库;
权重计算和规则式优化加权模块利用词频与类优先级函数所构成的权重函数用作权重计算同时基于规则式优化加权提取短文本最高权重关键词;
关键词搜索和扩展模块搜索权重最高关键词的上下文同时基于构建的有向概率状态转化图来进行关键词的上下文扩展从而形成目标实体,所述的构建有向概率状态转化图具体包括:由于筛选的实体关键词都是名词,因此概率状态转化图的初始状态均为名词n,根据训练集查找上下文进行所有的状态统计并计算转化成该状态的概率形成有向图,包括如下步骤:步骤4‑1,统计结果集词性组合;即统计目标结果自身的词性组合,产品名称可能不仅仅由单个名词形成,可能由多个不同词性的词组成,因而统计结果集所有词性组合作为有向状态概率转化图的最终状态并且以此作为概率计算的其中一环;
步骤4‑2,统计仅有一个名词的上下文组合;一部分结果集由单个名词组成,统计该部分的原短文本上下文词性组合,这些词性组合统计的数量代表了由单名词不转化成该词性组合数量,将其作为概率计算的另一环;
步骤4‑3,将两个统计结果进行概率转化形成状态转化概率图;由步骤4‑1获得了由单名词可转化成某一词性组合的统计数量 由步骤4‑2获得由单名词无法转化成该词性组合的统计数量 根据概率计算公式即可计算出状态转化概率;
使用有向概率状态转化图时需查找遍历比较状态转化概率以判断是否进行上下文的拓展;当状态转化概率Pk大于0.5进行转化,或者当状态转化概率Pk小于0.5进行转化,当状态转化概率Pk小于0.5进行转化时状态转化标准确定过程如下:状态转化成功的数量=进行状态转化的数量*状态转化的准确率,此时使用少量数据结果结合最小二乘法拟合出状态转化成功数量与状态转化概率之间的二次曲线,之后取出当状态转化成功数量最多时的状态转化概率参数作为状态转化标准。
6.如权利要求5所述的系统,其特征在于:权重计算和规则式优化加权模块所述的提取关键词所使用的权重函数,提取关键词策略为基于TF‑IDF关键词提取策略的增强改进版,TF‑IDF策略为常用文本分类统计方法,词频*逆向文件频率作为加权即tfi,j*idfi;其中:因为逆向文件频率idfi在短文本中的提取识别效率极低,故用类优先级函数
作为替代,权重函数则优化为tfi,j*f(t),其中
t=实体为最终关键词个数/该实体在全部短文本中作为候选关键词个数,即
t代表了候选关键词成为最终词的强度,理想范围为[0,1],当t→0时,代表该词不可能成为最终词,当t→1时代表了该词出现必然为最终词,因而利用函数变化通过f(t)在不影响函数实际作用凹凸性的情况下将范围放大,使权重差距变大从而更利于体现t的作用,其核心目标为提高最终关键词命中概率,常数1.01是为了防止实际运行中出现除数为0的情况;
在实际运行中当出现t>1的情况,进行范围修正,范围修正为将所有t除以tmax从而保证范围t<=1;
所述的规则式优化加权具体包括:
因为f(t)为全监督学习,当训练集太过紊乱导致f(t)存在明显误差,实际情况一个短文本可能包含多个最终关键词,或t不存在时,即代表了该词未曾出现,此时类优先级函数无效;此时采取规则式优化加权,其中规则式包含但不仅限于利用结果集聚类产生的某一特征,包括产品实体占据短文本的相对位置、产品实体的字符大小范围;
设有n个规则式,结果集符合规则式的占取百分比分别为x1,x2,x3,……x1,当xn>0.5时,则认为该规则式具有较大实用性,在权重函数的基础上增加权重其中C为常数,实际上代表了规则式在总权重的占比,默认置为1/n,在资源足够时为了达到较优的常数C,使用部分运行结果基于梯度下降求得较优解,特征值为两部分分别为权重函数和加权函数;加权函数本质上为sigmoid激活函数的逆函数,故实际上当xn<0.5也可参与优化加权但影响不佳,可发现当xn<0.5时加权函数为负,为减少运行成本考虑舍去。