利索能及
我要发布
收藏
专利号: 2024108719026
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于大语言模型的机器译文质量估计方法,其特征在于:步骤如下:步骤S1,获取训练集,对训练集进行规范化处理,获得规范化处理后的训练集;训练集由多个不同样本组成,每个样本包括源语言句子、机器译文、机器译文的人类评价分值、机器译文的人类评价类别;

步骤S2,提取源语言句子至机器译文的相似度特征向量;将规范化处理后的训练集内每个样本中的源语言句子和机器译文顺序相连,输入到大语言模型,输出源语言句子至机器译文的子词级别特征向量,提取源语言句子至机器译文的子词级别特征向量的最后一个子词的特征向量作为源语言句子至机器译文的相似度特征向量;

步骤S3,提取机器译文至源语言句子的相似度特征向量;将规范化处理后的训练集内每个样本中的机器译文和源语言句子顺序相连,输入到大语言模型,输出机器译文至源语言句子的子词级别特征向量,提取机器译文至源语言句子的子词级别特征向量的最后一个子词的特征向量作为机器译文至源语言句子的相似度特征向量;

步骤S4,提取机器译文质量估计特征向量;将步骤S2中源语言句子至机器译文的相似度特征向量和步骤S3中机器译文至源语言句子的相似度特征向量拼接后输入到机器译文质量估计任务适配器层,输出机器译文质量估计特征向量;

步骤S5,预测基于大语言模型深度表征的机器译文质量得分;将步骤S4中机器译文质量估计特征向量输入到主回归网络层,预测基于大语言模型深度表征的机器译文质量得分;

步骤S6,预测基于大语言模型深度表征的机器译文质量类别;将步骤S4中机器译文质量估计特征向量输入到辅助分类网络层,预测基于大语言模型深度表征的机器译文质量类别;

步骤S7,训练基于大语言模型深度表征的机器译文质量估计模型;

根据步骤S5中预测的基于大语言模型深度表征的机器译文质量得分和步骤S1中规范化处理后的训练集内机器译文的人类评价分值,计算在训练集上的均方差损失;

根据步骤S6中预测的基于大语言模型深度表征的机器译文质量类别和步骤S1中规范化处理后的训练集内机器译文的人类评价类别,计算在训练集上的交叉熵损失;

线性加权在训练集上的均方差损失和在训练集上的交叉熵损失作为在训练集上的总损失,最小化在训练集上的总损失来训练基于大语言模型深度表征的机器译文质量估计模型的参数,得到训练后的基于大语言模型深度表征的机器译文质量估计模型;

步骤S8,对源语言句子、机器译文进行规范化处理后输入至步骤S7中训练后的基于大语言模型深度表征的机器译文质量估计模型,预测基于大语言模型深度表征的机器译文质量得分;

步骤S9,利用提示使用大语言模型进行机器翻译生成源语言句子的伪参考译文;编制提示与源语言句子相连形成翻译指令,在对话模式下将翻译指令输入大语言模型输出源语言句子的翻译结果,将源语言句子的翻译结果作为伪参考译文;

步骤S10,将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法计算基于大语言模型提示的机器译文质量得分;将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法输出机器译文质量得分,选取其中最高的得分为基于大语言模型提示的机器译文质量得分;

步骤S11,计算基于大语言模型的机器译文质量得分;线性加权步骤S8中预测的基于大语言模型深度表征的机器译文质量得分和步骤S10中基于大语言模型提示的机器译文质量得分,获取基于大语言模型的机器译文质量得分;

步骤S1中训练集由多个不同样本组成,每个样本具体为:

步骤S110,给定训练集中一个样本d={src, hypothesis, y},其中d表示一个训练样本,src表示源语言句子, hypothesis表示机器译文, y表示机器译文的人类评价分值;

将机器译文的人类评价分值使用最小‑最大规范化方法缩放至[0,1]区间范围内,得到机器译文缩放后的人类评价分值,如公式(1)所示:                                  (1);

其中,yscaled表示机器译文缩放后的人类评价分值;ymax、ymin分别表示在训练集中机器译文的人类评价分值的最大值和在训练集中机器译文的人类评价分值的最小值;

步骤S111,采用平均分类的方法设置机器译文的人类评价类别;将机器译文缩放后的人类评价分值按照所处的区间划分质量等级,质量等级是从0开始连续的10个自然数,如公式(2)所示:            (2);

其中,z表示机器译文的人类评价类别;

步骤S2中提取源语言句子至机器译文的相似度特征向量,具体为:步骤S21,将规范化处理后的训练集内每个样本中的源语言句子和机器译文顺序相连,如公式(3)所示:            (3);

其中,s2h表示源语言句子至机器译文联合字符串,符号表示字符串的起始符和字符串的终止符;

步骤S22,将源语言句子至机器译文联合字符串输入到大语言模型Llama 2,由大语言模型Llama 2使用子词切分方法SentencePiece算法对源语言句子至机器译文联合字符串进行子词切分,得到包含m个子词的子词序列,如公式(4)所示:                        (4);

其中,m表示源语言句子至机器译文联合字符串进行子词切分的子词个数;s1,s2,sm表示源语言句子至机器译文联合字符串进行子词切分后的第1个子词,第2个子词,第m个子词;

步骤S23,大语言模型Llama 2按照从左向右的顺序逐词生成源语言句子至机器译文的子词级别特征向量,如公式(5)所示:           (5);

其中,vs2h表示源语言句子至机器译文的子词级别特征向量,Llama2()表示大语言模型Llama 2输出函数,vs1,vs2,vsm分别表示源语言句子至机器译文的第1个子词的特征向量,第2个子词的特征向量,第m个子词的特征向量;

步骤S24,大语言模型Llama 2采用单向深度表示方法,提取源语言句子至机器译文的子词级别特征向量的最后一个子词的特征向量vsm作为源语言句子至机器译文的相似度特征向量;

步骤S3中提取机器译文至源语言句子的相似度特征向量,具体为:步骤S31,将规范化处理后的训练集内每个样本中机器译文和源语言句子顺序相连,如公式(6)所示:            (6);

其中,h2s表示机器译文至源语言句子联合字符串;

步骤S32,将机器译文至源语言句子联合字符串输入到大语言模型Llama 2,由大语言模型Llama 2使用子词切分方法SentencePiece算法对机器译文至源语言句子联合字符串进行子词切分,得到包含n个子词的子词序列,如公式(7)所示:                            (7);

其中,n表示机器译文至源语言句子联合字符串进行子词切分的子词个数;h1,h2,hn表示机器译文至源语言句子联合字符串进行子词切分后的第1个子词,第2个子词,第n个子词;

步骤S33,大语言模型Llama 2按照从左向右的顺序逐词生成机器译文至源语言句子的子词级别特征向量,如公式(8)所示:              (8);

其中,vh2s表示机器译文至源语言句子的子词级别特征向量, vh1,vh2,vhn分别表示机器译文至源语言句子的子词级别特征向量的第1个子词的特征向量,第2个子词的特征向量,第n个子词的特征向量;

步骤S34,取机器译文至源语言句子的子词级别特征向量的最后一个子词的特征向量vhn作为机器译文至源语言句子的相似度特征向量;

步骤S4中提取机器译文质量估计特征向量,具体为:

步骤S41,将步骤S2中源语言句子至机器译文的相似度特征向量和步骤S3中机器译文至源语言句子的相似度特征向量拼接,如公式(9)所示:              (9);

其中,x表示机器译文和源语言句子拼接特征向量,符号“⊕”表示向量拼接运算;

步骤S42,将机器译文和源语言句子拼接特征向量输入到机器译文质量估计任务适配器层,输出机器译文质量估计特征向量,如公式(10)所示:                   (10);

其中,QEFV表示机器译文质量估计特征向量,tanh()表示神经网络的激活函数tanh,参数w1和b1为神经网络的可学习参数,T表示矩阵的转置操作;

步骤S5中预测基于大语言模型深度表征的机器译文质量得分,具体为:将步骤S4中机器译文质量估计特征向量输入主回归网络层,预测基于大语言模型深度表征的机器译文质量得分,如公式(11)所示:                  (11);

其中,Pvalues为预测的基于大语言模型深度表征的机器译文质量得分,参数w2和b2为神经网络的可学习参数;

步骤S6中预测基于大语言模型深度表征的机器译文质量类别,具体为:将步骤S4中机器译文质量估计特征向量输入辅助分类网络层,预测基于大语言模型深度表征的机器译文质量类别,如公式(12)和公式(13)所示:             (12);

            (13);

其中,Probs为预测的基于大语言模型深度表征的机器译文质量类别概率,Pclass为预测的基于大语言模型深度表征的机器译文质量类别,argmax()是返回向量最大值索引函数,softmax()表示神经网络的激活函数softmax,参数w3和b3为神经网络的可学习参数。

2.根据权利要求1所述的一种基于大语言模型的机器译文质量估计方法,其特征在于:步骤S7中训练基于大语言模型深度表征的机器译文质量估计模型,具体为:步骤S71,根据步骤S5中预测的基于大语言模型深度表征的机器译文质量得分和步骤S1中规范化处理后的训练集内机器译文的人类评价分值,计算在训练集上的均方差损失,如公式(14)所示:           (14);

其中,MSE表示在训练集上的均方差损失,N表示训练集中样本的数量,i表示训练集中(i) (i)第i条样本,y 表示训练集中第i条样本机器译文的人类评价分值,Pvalues 表示第i条样本预测的基于大语言模型深度表征的机器译文质量得分;

步骤S72,根据步骤S6中预测的基于大语言模型深度表征的机器译文质量类别和步骤S1中规范化处理后的训练集内机器译文的人类评价类别,计算在训练集上的交叉熵损失,如公式(15)所示:           (15);

(i)

其中,CrossEntropy表示在训练集上的交叉熵损失,z 表示训练集中第i条样本机器译文的人类评价类别, 表示训练集中第i条样本预测的基于大语言模型深度表征的(i)机器译文质量类别概率在第z 类别上的概率值;

步骤S73,线性加权在训练集上的均方差损失和在训练集上的交叉熵损失作为在训练集上的总损失,如公式(16)所示:            (16);

其中,SumLoss表示在训练集上的总损失,0.2是线性插值权值,通过实验经验取得;

步骤S74,最小化在训练集上的总损失来训练基于大语言模型深度表征的机器译文质量估计模型的参数,得到训练后的基于大语言模型深度表征的机器译文质量估计模型,如公式(17)和公式(18)所示:                (17);

            (18);

其中,表示最小化在训练集上的总损失的一组最优参数;argmin是取最小值时最优参数的函数;θ表示基于大语言模型深度表征的机器译文质量估计模型的参数,包括大语言模型Llama 2中参数,参数为神经网络的可学习参数w1, w2,w3和b1, b2, b3;Preds是预测的机器译文质量分值;g表示基于大语言模型深度表征的机器译文质量估计模型,当给定源语言句子src、机器译文hypothesis和总损失的一组最优参数 时,输出预测的机器译文质量分值。

3.根据权利要求2所述的一种基于大语言模型的机器译文质量估计方法,其特征在于:还包括如下步骤:步骤S9中利用提示使用大语言模型进行机器翻译生成源语言句子的伪参考译文,具体为:编制提示与源语言句子相连形成翻译指令,如公式(19)和公式(20)所示:      (19);

                       (20);

其中,TransPrompt1,TransPrompt2分别为第一条翻译指令和第二条翻译指令,translate from[]to[]和 translate[]to[]表示翻译指令中的翻译提示语;srclang为源语言名称,trglang为目标语言名称;

在对话模式下将翻译指令输入到大语言模型输出源语言句子的翻译结果,如公式(21)和公式(22)所示:     (21);

           (22);

其中,PseudoRef1,PseudoRef2分别为源语言句子的翻译结果,Llama2Chat()为对话模式下大语言模型Llama 2输出函数;

将源语言句子的翻译结果PseudoRef1,PseudoRef2作为伪参考译文;

步骤S10中将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法计算基于大语言模型提示的机器译文质量得分,具体为:将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法输出机器译文质量得分,选取其中最高的得分为基于大语言模型提示的机器译文质量得分,如公式(23)、公式(24)和公式(25)所示:      (23);

       (24);

  (25);

其中,MetricsScore1,MetricsScore2表示2个机器译文质量得分,MetricsScore表示基于大语言模型提示的机器译文质量得分, Metrics()表示机器译文自动评价方法输出函数, Max()表示取最大值函数。

4.根据权利要求3所述的一种基于大语言模型的机器译文质量估计方法,其特征在于:步骤S11中计算基于大语言模型的机器译文质量得分,具体为:线性加权步骤S8中预测的基于大语言模型深度表征的机器译文质量得分和步骤S10中基于大语言模型提示的机器译文质量得分,获取基于大语言模型的机器译文质量得分:            (26);

其中, 表示基于大语言模型的机器译文质量得分;Preds表示步骤S8中预测的基于大语言模型深度表征的机器译文质量得分;0.8为线性插值权重,根据实验经验取得。