利索能及
我要发布
收藏
专利号: 2021112504678
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种句子向量生成方法,其特征在于,所述方法包括:获取目标文本数据;

将所述目标文本数据输入句子向量生成模型进行句子向量生成,得到所述目标文本数据对应的目标句子向量,其中,所述句子向量生成模型是采用多个训练样本对神经网络训练得到的模型,每个所述训练样本包括:语料片段和语料片段定义。

2.根据权利要求1所述的句子向量生成方法,其特征在于,所述将所述目标文本数据输入句子向量生成模型进行句子向量生成,得到所述目标文本数据对应的目标句子向量的步骤之前,还包括:

获取多个所述训练样本;

获取预设批次数量的所述训练样本作为训练样本集;

根据所述训练样本集中的每个所述语料片段进行词向量生成,得到第一词向量;

采用初始模型,对所述训练样本集中的每个所述语料片段定义进行句子向量生成,得到第一句子向量,其中,所述初始模型是基于Bert模型或XLNET模型得到的模型;

根据各个所述第一词向量和各个所述第一句子向量进行损失值计算,得到第一损失值,根据所述第一损失值更新所述初始模型的参数,将更新后的所述初始模型用于下一次计算所述第一句子向量;

重复执行所述获取预设批次数量的所述训练样本作为训练样本集的步骤,直至达到第一训练目标;

将达到所述第一训练目标的所述初始模型作为所述句子向量生成模型。

3.根据权利要求2所述的句子向量生成方法,其特征在于,所述获取多个所述训练样本的步骤,包括:

获取词典数据,所述词典数据包括:文本段和文本段定义,文本段包括:单汉字、词语、成语中的任一种,所述文本段定义是对所述文本段的解释说明;

从所述词典数据中获取任一个文本段作为目标文本段;

根据所述目标文本段和所述目标文本段对应的所述文本段定义生成所述训练样本,其中,将所述目标文本段作为所述训练样本的所述语料片段,将所述目标文本段对应的所述文本段定义作为所述训练样本的所述语料片段定义;

重复执行所述从所述词典数据中获取任一个文本段作为目标文本段的步骤,直至完成所述词典数据中的所述文本段的获取或者获取到样本生成结束信号。

4.根据权利要求2所述的句子向量生成方法,其特征在于,所述根据所述训练样本集中的每个所述语料片段进行词向量生成,得到第一词向量的步骤,包括:对所述训练样本集中的每个所述语料片段进行分词处理,得到语料片段短语集;

采用预设词向量模型,对每个所述语料片段短语集中的各个短语进行词向量生成,得到短语词向量集;

对每个所述短语词向量集进行平均值计算,得到所述第一词向量。

5.根据权利要求2所述的句子向量生成方法,其特征在于,所述采用初始模型,对所述训练样本集中的每个所述语料片段定义进行句子向量生成,得到第一句子向量的步骤,包括:

对所述训练样本集中的每个所述语料片段定义进行分词处理,得到定义短语集;

将每个所述定义短语集输入所述初始模型进行句子向量生成,得到所述第一句子向量。

6.根据权利要求2所述的句子向量生成方法,其特征在于,所述根据各个所述第一词向量和各个所述第一句子向量进行损失值计算,得到第一损失值的步骤,包括:获取任一个所述第一词向量作为目标词向量;

将所述目标词向量和所述目标词向量对应的所述第一句子向量输入预设损失函数进行损失值计算,得到待处理损失值,其中,所述预设损失函数采用相对熵损失函数;

重复执行所述获取任一个所述第一词向量作为目标词向量的步骤,直至完成所述第一词向量的获取;

对各个所述待处理损失值进行平均值计算,得到所述第一损失值。

7.根据权利要求1所述的句子向量生成方法,其特征在于,所述将所述目标文本数据输入句子向量生成模型进行句子向量生成,得到所述目标文本数据对应的目标句子向量的步骤之前,还包括:

获取多个所述训练样本;

获取一个所述训练样本作为目标训练样本;

根据所述目标训练样本中的所述语料片段进行词向量生成,得到第二词向量;

采用初始模型,对所述目标训练样本中的所述语料片段定义进行句子向量生成,得到第二句子向量,其中,所述初始模型是基于Bert模型或XLNET模型得到的模型;

根据所述第二词向量和所述第二句子向量进行损失值计算,得到第二损失值,根据所述第二损失值更新所述初始模型的参数,将更新后的所述初始模型用于下一次计算所述第二句子向量;

重复执行所述获取一个所述训练样本作为目标训练样本的步骤,直至达到第二训练目标;

将达到所述第二训练目标的所述初始模型作为所述句子向量生成模型。

8.一种句子向量生成装置,其特征在于,所述装置包括:数据获取模块,用于获取目标文本数据;

句子向量生成模块,用于将所述目标文本数据输入句子向量生成模型进行句子向量生成,得到所述目标文本数据对应的目标句子向量,其中,所述句子向量生成模型是采用多个训练样本对神经网络训练得到的模型,每个所述训练样本包括:语料片段和语料片段定义。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。