1.一种基于词向量的英汉词义映射方法,其特征在于,该方法包括以下步骤:步骤一、由英文知识库提取待映射词义的同义词集,而后根据英汉词典查询同义词集中各个同义词的候选中文词义;
步骤二、由英文知识库提取待映射词义的英文注释和例句,并根据英汉词典查询步骤一所得的各个候选中文词义的英文注释和例句;
步骤三、在大规模英文语料库上训练词向量,而后为步骤二所得的各个英文注释和例句分别生成句子向量;
步骤四、计算步骤三所得的待映射词义的英文注释和例句的句子向量与候选中文词义的英文注释和例句的句子向量的相似度,而后计算待映射词义与候选中文词义的综合相似度;
步骤五、选择综合相似度最大的候选中文词义作为待映射词义的目标词义。
2.根据权利要求1所述的基于词向量的英汉词义映射方法,其特征在于,所述步骤三中,在训练词向量并生成句子向量时,具体为:步骤3-1)在大规模英文语料库上训练词向量;
步骤3-2)对步骤二所得的英文注释和例句进行词形还原、提取实词预处理;
步骤3-3)根据步骤3-1)所得的词向量,为步骤3-2)处理得到的英文注释和例句分别生成句子向量,具体为:将英文注释或例句记作s,将句子中的某一实词记作w,则句子s的句子向量 可由公式(1)获得;
其中,|s|表示句子s包含的实词的数量, 表示实词wk的词向量。
3.根据权利要求1所述的基于词向量的英汉词义映射方法,其特征在于,所述步骤四中,在计算词义相似度时,具体为:步骤4-1)计算步骤三所得的待映射词义的英文注释和例句的句子向量与候选中文词义的英文注释和例句的句子向量的相似度,具体为:将英文注释或例句记作s;
任意两个句子si和sj的句子向量相似度可通过公式(2)求得;
其中,和 表示句子si和sj的句子向量, 和 表示向量 和 的模;将公式(1)代入公式(2),可得公式(3);
为了使相似度得分在0到1之间,以便于之后对其进行比较,将公式(3)中的句子向量利用函数 做归一化处理,则公式(3)将转化为公式(4);
其中,函数 的归一化处理,即指将 转化为单位向量;该处理仅改变向量大小并不改变方向,不影响向量的余弦相似度计算;
步骤4-2)由步骤4-1)所得的英文注释和例句的句子向量相似度,计算待映射词义与候选中文词义的综合相似度,具体为:将英文知识库中的待映射词义记作Bs,将某一候选中文词义记作Ds,其综合相似度可由公式(5)计算;
其中,Bsgl为Bs的英文注释,Dsgl为Ds的英文注释,Bsexs为Bs的英文例句集合,Dsexs为Ds的英文例句集合,Bsex为Bsexs中的一条例句,Dsex为Dsexs中的一条例句,α和(1-α)分别表示注释和例句的权重,sim(Bsgl,Dsgl)和sim(Bsex,Dsex)由公式(4)计算。
4.一种基于词向量的英汉词义映射装置,其特征在于,该装置包括,候选词义查询单元、注释和例句提取单元、句子向量生成单元、词义相似度计算单元、目标词义选择单元,其中:候选词义查询单元,用于在英文知识库中提取待映射词义的同义词集,而后根据英汉词典查询同义词集中各个同义词的候选中文词义;
注释和例句提取单元,用于在英文知识库提取待映射词义的英文注释和例句,并根据英汉词典查询候选词义查询单元所得的各个候选中文词义的英文注释和例句;
句子向量生成单元,用于在大规模英文语料库上训练词向量,而后为注释和例句提取单元所得的各个英文注释和例句分别生成句子向量;
词义相似度计算单元,用于计算句子向量生成单元所得的待映射词义的英文注释和例句的句子向量与候选中文词义的英文注释和例句的句子向量的相似度,而后计算待映射词义与候选中文词义的综合相似度;
目标词义选择单元,用于选择综合相似度最大的候选中文词义作为待映射词义的目标词义。
5.根据权利要求4所述的基于词向量的英汉词义映射装置,其特征在于,所述候选词义查询单元还包括:同义词集提取单元,用于提取待映射词义的同义词集;
候选中文词义查询单元,用于查询同义词集中各个同义词的候选中文词义。
6.根据权利要求5所述的基于词向量的英汉词义映射装置,其特征在于,所述注释和例句提取单元还包括:待映射词义信息提取单元,用于提取待映射词义的英文注释和例句;
候选词义信息提取单元,用于提取候选中文词义查询单元所得的各个候选中文词义的英文注释和例句。
7.根据权利要求4所述的基于词向量的英汉词义映射装置,其特征在于,所述句子向量生成单元还包括:词向量训练单元,用于在大规模英文语料库上训练词向量;
词义信息预处理单元,用于对注释和例句提取单元所得的英文注释和例句进行词形还原、提取实词预处理;
句子向量聚成单元,用于根据词向量训练单元所得词向量为词义信息预处理单元得到的英文注释和例句分别生成句子向量。
8.根据权利要求4所述的基于词向量的英汉词义映射装置,其特征在于,所述词义相似度计算单元还包括:句子向量相似度计算单元,用于计算句子向量生成单元所得的待映射词义的英文注释和例句的句子向量与候选中文词义的英文注释和例句的句子向量的相似度;
综合相似度计算单元,根据句子向量相似度计算单元所得的英文注释和例句的句子向量相似度,计算待映射词义与候选中文词义的综合相似度。