利索能及
我要发布
收藏
专利号: 201810940945X
申请人: 武汉斗鱼网络科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种搜索文本的纠正方法,其特征在于,包括:

获取目标搜索文本,并对所述目标搜索文本进行分词处理确定所述目标搜索文本对应的搜索词序列;

根据搜索语料库确定所述搜索词序列对应的各候选准确词序列,其中,所述搜索词序列中的搜索词与所述候选准确词序列中的候选准确词一一对应;

根据至少两个分段方式对所述搜索词序列进行分段,确定每个分段方式对应的各搜索词片段以及各所述搜索词片段对应的各候选准确词片段,其中,所述分段方式包括预先规定的搜索词片段数量以及每个搜索词片段对应的搜索词数量;

将所述每个分段方式逐个确定为第一分段方式,并将所述第一分段方式下各所述候选准确词序列逐个确定为第一准确词序列;

根据所述搜索语料库确定所述第一分段方式对应的各所述搜索词片段对应的各搜索词纠正概率;

根据威尔逊置信区间公式,对各所述搜索词纠正概率进行平滑处理;

根据平滑后的各搜索词纠正概率确定所述第一分段方式对应的各片段纠正概率;

其中所述片段纠正概率为所述搜索词片段纠正为对应的第一准确词片段的概率;

根据各所述片段纠正概率、所述搜索词片段数量以及搜索词总数,确定所述第一分段方式下所述第一准确词序列对应的候选纠正概率;

根据各所述候选纠正概率确定所述目标搜索文本对应的目标准确词序列,并根据所述目标准确词序列确定所述目标搜索文本对应的目标准确文本。

2.根据权利要求1所述的方法,其特征在于,根据各所述候选纠正概率确定所述目标搜索文本对应的目标准确词序列,包括:根据每个所述分段方式下各所述候选准确词序列对应的候选纠正概率,确定所述目标搜索文本对应的目标准确词序列。

3.根据权利要求1所述的方法,其特征在于,根据所述搜索语料库确定所述第一分段方式对应的各所述搜索词片段对应的各搜索词纠正概率,包括:将所述第一分段方式对应的各所述搜索词片段逐个确定为目标搜索词片段;

若所述目标搜索词片段仅包括一个搜索词,则根据所述搜索语料库确定所述目标搜索词片段对应的第一纠正概率,并将所述第一纠正概率确定为所述目标搜索词片段对应的搜索词纠正概率,其中所述第一纠正概率为该搜索词纠正为对应的第一准确词的概率;

若所述目标搜索词片段包括至少两个搜索词,则根据所述搜索语料库确定所述目标搜索词片段对应的各第二纠正概率以及各第三纠正概率,并将各所述第二纠正概率和各所述第三纠正概率确定为所述目标搜索词片段对应的各搜索词纠正概率,其中所述第二纠正概率为所述目标搜索词片段中当前搜索词纠正为对应的当前第一准确词的概率,所述第三纠正概率为在当前第一准确词后出现下一第一准确词的概率;

相应的,根据平滑后的各搜索词纠正概率确定所述第一分段方式对应的各片段纠正概率,包括:若所述目标搜索词片段仅包括一个搜索词,则将平滑后的第一纠正概率确定为所述目标搜索词片段对应的片段纠正概率;

若所述目标搜索词片段包括至少两个搜索词,则根据平滑后的各第二纠正概率和平滑后的各第三纠正概率,确定所述目标搜索词片段对应的片段纠正概率。

4.根据权利要求3所述的方法,其特征在于,根据所述搜索语料库确定所述目标搜索词片段对应的各第二纠正概率以及各第三纠正概率,包括:根据所述搜索语料库确定所述目标搜索词片段中当前搜索词对应的历史搜索次数、当前搜索词纠正为对应的第一准确词的历史纠正次数、当前搜索词对应的当前第一准确词的第一出现次数、以及所述当前第一准确词的下一第一准确词的第二出现次数;

根据所述历史搜索次数和所述历史纠正次数,确定各第二纠正概率;

根据所述第一出现次数和所述第二出现次数,确定各第三纠正概率。

5.根据权利要求4所述的方法,其特征在于,根据威尔逊置信区间公式,对各所述搜索词纠正概率进行平滑处理,包括:若所述搜索词纠正概率为零,则根据威尔逊置信上区间公式,以及所述搜索词纠正概率对应的历史搜索次数或者所述搜索词纠正概率对应的第一出现次数,对所述搜索词纠正概率进行平滑处理;

若所述搜索词纠正概率不为零,则根据威尔逊置信下区间公式,以及所述搜索词纠正概率对应的历史搜索次数或者所述搜索词纠正概率对应的第一出现次数,对所述搜索词纠正概率进行平滑处理。

6.根据权利要求1所述的方法,其特征在于,根据如下公式确定所述第一准确词序列对应的候选纠正概率:s.t.0=n1<n2<...<nk=N

其中,p(c1,c2,...,cN|q1,q2,...,qN)是所述第一准确词序列对应的候选纠正概率;c1,c2,...,cN是所述第一准确词序列;q1,q2,...,qN是所述目标搜索文本对应的搜索词序列;N是所述搜索词总数;k是所述第一分段方式对应的搜索词片段数量;ni是第i‑1个搜索词片段中最后一个搜索词的下标; 是第i个搜索词片段; 是第i个搜索词片段对应的第一准确词片段; 是第i个搜索词片段对应的片段纠正概率。

7.一种搜索文本的纠正装置,其特征在于,包括:

搜索词序列确定模块,用于获取目标搜索文本,并对所述目标搜索文本进行分词处理确定所述目标搜索文本对应的搜索词序列;

候选准确词序列确定模块,用于根据搜索语料库确定所述搜索词序列对应的各候选准确词序列,其中,所述搜索词序列中的搜索词与所述候选准确词序列中的候选准确词一一对应;

候选纠正概率确定模块,用于根据所述搜索语料库、所述搜索词序列、各所述候选准确词序列、威尔逊置信区间公式以及搜索词总数,确定各所述候选准确词序列对应的候选纠正概率;

目标准确文本确定模块,用于根据各所述候选纠正概率确定所述目标搜索文本对应的目标准确词序列,并根据所述目标准确词序列确定所述目标搜索文本对应的目标准确文本;

其中,所述候选纠正概率确定模块包括:

搜索词片段确定子模块,用于根据至少两个分段方式对搜索词序列进行分段,确定每个分段方式对应的各搜索词片段以及各搜索词片段对应的各候选准确词片段,其中,分段方式包括预先规定的搜索词片段数量以及每个搜索词片段对应的搜索词数量;

候选纠正概率确定子模块,用于根据每个分段方式对应的各搜索词片段、与搜索词片段对应的各候选准确词片段、搜索语料库、威尔逊置信区间公式以及搜索词总数,确定每个分段方式下各候选准确词序列对应的候选纠正概率;

其中,所述候选纠正概率确定子模块,包括:

第一准确词序列确定单元,用于将每个分段方式逐个确定为第一分段方式,并将第一分段方式下各候选准确词序列逐个确定为第一准确词序列;

片段纠正概率确定单元,用于根据搜索语料库和威尔逊置信区间公式,确定第一分段方式对应的各片段纠正概率,其中片段纠正概率为搜索词片段纠正为对应的第一准确词片段的概率;

候选纠正概率确定单元,用于根据各片段纠正概率、搜索词片段数量以及搜索词总数,确定第一分段方式下第一准确词序列对应的候选纠正概率;

其中,所述片段纠正概率确定单元,包括:

搜索词纠正概率子单元,用于根据搜索语料库确定第一分段方式对应的各搜索词片段对应的各搜索词纠正概率;

平滑处理子单元,用于根据威尔逊置信区间公式,对各搜索词纠正概率进行平滑处理;

片段纠正概率确定子单元,用于根据平滑后的各搜索词纠正概率确定第一分段方式对应的各片段纠正概率。

8.一种终端,其特征在于,所述终端包括:

一个或多个处理器;

存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑6中任一所述的搜索文本的纠正方法。