利索能及
我要发布
收藏
专利号: 2021106513330
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种神经网络中序列长度选择方法,其特征在于,所述方法包括:获取样本文章;

基于指定的任意序列长度的序列参数,通过时序模型对所述样本文章中段落进行段落切分预测,得到样本字词预测结果;

根据所述样本文章中的段落文本和所述样本字词预测结果,计算所述时序模型的预测概率值,所述时序模型为LSTM模型;

计算所述序列参数在序列样本集合中的出现概率值,所述出现概率值表示为:其中,所述 表示所述序列样本集合中全部序列对的计数值;所述10表示在不同递归神经网络模型设计下可以选择的可能值的数量;所述n 表示所述序列长度的总数;

基于所述预测概率值和所述出现概率值,通过梯度下降法选择所述序列参数的序列长度,输出序列长度选择结果;

所述基于指定的任意序列长度的序列参数,通过时序模型对所述样本文章中段落进行段落切分预测,得到样本字词预测结果,包括:将所述样本文章输入到所述LSTM模型中,基于所述序列参数对所述样本文章的段落进行切分,得到文本长度与所述序列长度一致的段落文本;并对与所述段落文本相邻,且在所述段落文本之后的至少一个字词进行预测,得到样本字词预测结果;

所述基于所述预测概率值和所述出现概率值,通过梯度下降法选择所述序列参数的序列长度,输出序列长度选择结果,包括:构造损失函数,其中,不脱所述损失函数的损失值满足的关系式包括所述预测概率值与所述出现概率值的乘积的条件;

基于所述预测概率值和所述出现概率值,通过梯度下降法计算损失函数的损失值;

根据所述损失值更新指定的所述序列长度,重复段落切分预测的操作,直到所述损失函数的损失值小于预设值,确定当前序列参数的序列长度,作为所述序列长度选择结果。

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本文章中的段落文本和所述样本字词预测结果,计算所述时序模型的预测概率值,包括对所述样本字词预测结果中的预测字词进行编码处理;并从相似度算法集中任选至少2种相似度算法,基于选择的各所述相似度算法计算编码处理后的预测字词与所述样本文章中实际字词的文本相似度;

基于权重调整算法调整各所述文本相似度,得到作为预测概率值。

3.根据权利要求2所述的方法,其特征在于,所述从相似度算法集中任选至少2种相似度算法,基于选择的各所述相似度算法计算编码处理后的预测字词与所述样本文章中实际字词的文本相似度,包括:

从所述相似度算法集中随机选择预先相似度和马氏距离算法,计算得到编码处理后的预测字词与所述样本文章中实际字词的文本相似度。

4.根据权利要求3所述的方法,其特征在于,所述构造损失函数,包括:所述损失函数的损失值所满足的关系式包括所述预测概率值与所述出现概率值的乘积。

5.一种神经网络中序列长度选择装置,其特征在于,包括:数据获取模块,用于获取样本文章;

字词预测模块,用于基于指定的任意序列长度的序列参数,通过时序模型对所述样本文章中段落进行段落切分预测,得到样本字词预测结果;

第一概率计算模块,用于根据所述样本文章中的段落文本和所述样本字词预测结果,计算所述时序模型的预测概率值,所述时序模型为LSTM模型;

第二概率计算模块,用于计算所述序列参数在序列样本集合中的出现概率值,所述出现概率值表示为:

其中,所述 表示所述序列样本集合中全部序列对的计数值;所述10表示在不同递归神经网络模型设计下可以选择的可能值的数量;所述n 表示所述序列长度的总数;序列选择模块,用于基于所述预测概率值和所述出现概率值,通过梯度下降法选择所述序列参数的序列长度,输出序列长度选择结果;

所述字词预测模块,包括:

段落切分子模块,用于将所述样本文章输入到所述LSTM模型中,基于所述序列参数对所述样本文章的段落进行切分,得到文本长度与所述序列长度一致的段落文本;并字词预测子模块,用于对与所述段落文本相邻,且在所述段落文本之后的至少一个字词进行预测,得到样本字词预测结果;

所述序列选择模块,包括:

函数构造子模块,用于构造损失函数,其中,不脱所述损失函数的损失值满足的关系式包括所述预测概率值与所述出现概率值的乘积的条件;

损失计算子模块,用于基于所述预测概率值和所述出现概率值,通过梯度下降法计算损失函数的损失值;以及

长度选择子模块,用于根据所述损失值更新指定的所述序列长度,重复段落切分预测的操作,直到所述损失函数的损失值小于预设值,确定当前序列参数的序列长度,作为所述序列长度选择结果。

6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1至4中任一项所述方法的步骤。

7.一种计算机可读存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。