1.一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤如下:步骤S1,获取训练集,对训练集进行规范化处理,获得规范化处理后的训练集;训练集由多个不同样本组成,每个样本包括机器译文、人工参考译文和机器译文的人类评价分值;
步骤S2,提取独立表征模式下句子级别机器译文质量特征向量;将规范化处理后的训练集内每个样本中机器译文和人工参考译文,分别输入到跨语言预训练模型,输出独立表征模式下机器译文子词级别特征向量和独立表征模式下人工参考译文子词级别特征向量,将独立表征模式下机器译文子词级别特征向量和独立表征模式下人工参考译文子词级别特征向量使用外部注意力机制进行交互得到独立表征模式下机器译文交互特征向量和独立表征模式下人工参考译文交互特征向量,连接独立表征模式下机器译文交互特征向量和独立表征模式下人工参考译文交互特征向量,并进行平均池化操作,输出独立表征模式下句子级别机器译文质量特征向量;
步骤S3,提取统一表征模式下句子级别机器译文质量特征向量;将规范化处理后的训练集内每个样本中机器译文和人工参考译文进行字符串相连得到译文联合字符串,将译文联合字符串输入到跨语言预训练模型,输出统一表征模式下子词级别特征向量,将统一表征模式下子词级别特征向量使用自注意力机制进行交互,得到统一表征模式下交互特征向量,将统一表征模式下交互特征向量进行平均池化操作,输出统一表征模式下句子级别机器译文质量特征向量;
步骤S4,提取机器译文质量交叉特征向量;将步骤S2中独立表征模式下句子级别机器译文质量特征向量和步骤S3中统一表征模式下句子级别机器译文质量特征向量拼接,输入到含有4个堆叠交叉层的深度交叉网络,输出机器译文质量交叉特征向量;
步骤S5,预测机器译文质量;将步骤S4中机器译文质量交叉特征向量输入三层前馈神经网络,输出机器译文质量分值;
步骤S6,训练基于深度交叉网络的机器译文自动评价模型;根据步骤S5中输出的机器译文质量分值和步骤S1中规范化处理后的训练集内机器译文的人类评价分值,通过最小化在规范化处理后的训练集上的均方差损失来训练基于深度交叉网络的机器译文自动评价模型的参数,得到训练后的基于深度交叉网络的机器译文自动评价模型;
步骤S2中提取独立表征模式下句子级别机器译文质量特征向量,具体为:步骤S21,将机器译文h和人工参考译文r分别输入到跨语言预训练模型XLM‑RoBERTa,由跨语言预训练模型XLM‑RoBERTa使用子词切分方法SentencePiece算法对机器译文h和人工参考译文r进行子词切分,分别得到包含m个子词和n个子词的子词序列:;
其中,m和n分别表示机器译文和人工参考译文使用子词切分方法SentencePiece算法切分后包含的子词个数;h1,h2,hm表示机器译文使用子词切分方法SentencePiece算法切分后的第1个子词,第2个子词,第m个子词;r1,r2,rn表示人工参考译文切分后的第1个子词,第
2个子词,第n个子词;
步骤S22,跨语言预训练模型XLM‑RoBERTa根据子词和子词在句子中的位置输出独立表征模式下机器译文子词级别特征向量和独立表征模式下人工参考译文子词级别特征向量,如公式(1)和公式(2)所示;
(1);
(2);
其中,vh和vr分别表示机器译文和人工参考译文使用跨语言预训练模型XLM‑RoBERTa输出的独立表征模式下机器译文子词级别特征向量和独立表征模式下人工参考译文子词级别特征向量,XLM‑RoBERTa(•)表示跨语言预训练模型XLM‑RoBERTa;
步骤S23,将独立表征模式下机器译文子词级别特征向量和独立表征模式下人工参考译文子词级别特征向量,使用外部注意力机制进行交互,得到独立表征模式下机器译文交互特征向量和独立表征模式下人工参考译文交互特征向量,如公式(3)和公式(4)所示: (3);
(4);
其中, 为独立表征模式下机器译文交互特征向量, 为独立表征模式下人工参考译文交互特征向量;MultiHead(•)表示多头注意力机制函数,多头注意力机制函数中包含查询、键和值三个参数,当查询与键和值不相同时多头注意力机制转化为外部注意力机制;
步骤S24,连接独立表征模式下机器译文交互特征向量和独立表征模式下人工参考译文交互特征向量,并进行平均池化操作,输出独立表征模式下句子级别机器译文质量特征向量如公式(5)所示: (5);
其中,vshr表示独立表征模式下句子级别机器译文质量特征向量;AvgPooling()表示平均池化操作;
步骤S3中提取统一表征模式下句子级别机器译文质量特征向量,具体为:步骤S31,将机器译文h和人工参考译文r进行字符串相连得到译文联合字符串,如公式(6)所示: (6);
其中,hr为译文联合字符串,“”表示字符串的起止符;
步骤S32,将译文联合字符串输入跨语言预训练模型XLM‑RoBERTa,由跨语言预训练模型XLM‑RoBERTa使用子词切分方法SentencePiece算法对译文联合字符串进行子词切分,得到包含p个子词的子词序列,如公式(7)所示: (7);
其中,p表示译文联合字符串使用子词切分方法SentencePiece算法子词切分后包含的子词个数;hr1,hr2,hrp表示译文联合字符串使用SentencePiece算法切分后的第1个子词,第2个子词,第p个子词;
步骤S33,跨语言预训练模型XLM‑RoBERTa根据子词和子词在句子中的位置输出统一表征模式下子词级别特征向量,如公式(8)所示: (8);
其中,vhr表示统一表征模式下子词级别特征向量;
步骤S34,将统一表征模式下子词级别特征向量使用自注意力机制进行交互得到统一表征模式下交互特征向量,如公式(9)所示: (9);
其中, 表示统一表征模式下交互特征向量,MultiHead(•)表示多头注意力机制函数,多头注意力机制函数中包含查询、键和值三个参数,当查询与键和值相同时多头注意力机制转化为自注意力机制;
步骤S35,将统一表征模式下交互特征向量进行平均池化操作,输出统一表征模式下句子级别机器译文质量特征向量,如公式(10)所示: (10);
其中,vuhr表示统一表征模式下句子级别机器译文质量特征向量。
2.根据权利要求1所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S1中训练集由多个不同样本组成,每个样本具体为:给定训练集中一个样本d={(h, r), y},其中d表示一个训练样本, h表示机器译文,r表示人工参考译文, y表示对机器译文h的人类评价分值,人类评价分值介入0‑1之间的实数值。
3.根据权利要求2所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S4中提取机器译文质量交叉特征向量,具体为:步骤S41,将步骤S2中独立表征模式下句子级别机器译文质量特征向量和步骤S3中统一表征模式下句子级别机器译文质量特征向量拼接,如公式(11)所示: (11);
其中,x0表示机器译文拼接特征向量,符号“⊕”表示向量拼接运算;
步骤S42,将机器译文拼接特征向量输入含有4个堆叠交叉层的深度交叉网络,输出机器译文质量交叉特征向量,如公式(12)、公式(13)、公式(14)和公式(15)所示: (12);
(13);
(14);
(15);
其中,x1,x2,x3,x4分别为第1个、第2个、第3个、第4个堆叠交叉层输出的交叉特征向量,将x4作为机器译文质量交叉特征向量;符号“ ”为哈达玛乘积运算,W1,W2,W3,W4和b1,b2,b3,b4分别为第1个、第2个、第3个、第4个堆叠交叉层的线性权值参数和偏置;需要说明的是深度交叉网络包含若干个堆叠交叉层。
4.根据权利要求3所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S5中预测机器译文质量,具体为:将步骤S4中机器译文质量交叉特征向量输入三层前馈神经网络,输出机器译文质量分值;如公式(16)所示: (16);
其中,Score为机器译文质量分值,Feed‑Forward为三层前馈神经网络。
5.根据权利要求4所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S6中均方差损失,如公式(17)所示;
(17);
(i)
其中,MSE表示均方差损失,N表示训练集中样本的数量,i表示训练集中第i条样本,y(i)表示训练集中第i条样本机器译文的人类评价分值,Score 表示第i条样本预测的机器译文质量分值。
6.根据权利要求5所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:还包括以下步骤:步骤S7,对待评价机器译文、待评价机器译文的人工参考译文进行规范化处理;
步骤S8,将步骤S7中规范化处理后的待评价机器译文、待评价机器译文的人工参考译文输入至步骤S6中训练后的基于深度交叉网络的机器译文自动评价模型,预测机器译文质量分值;
步骤S9,计算基于大语言模型向量库的机器译文句向量表征和人工参考译文句向量表征余弦相似度;将步骤S7中规范化处理后的待评价机器译文、待评价机器译文的人工参考译文分别输入大语言模型向量库,直接输出机器译文句向量表征和人工参考译文句向量表征,计算机器译文句向量表征和人工参考译文句向量表征的余弦相似度;
步骤S10,计算机器译文质量最终预测分值;线性加权步骤S8中预测的机器译文质量分值和步骤S9中基于大语言模型向量库的机器译文句向量表征和人工参考译文句向量表征余弦相似度,获取机器译文质量最终预测分值。
7.根据权利要求6所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S9中计算基于大语言模型向量库的机器译文句向量表征和人工参考译文句向量表征余弦相似度,具体为:将步骤S7中规范化处理后的待评价机器译文、待评价机器译文的人工参考译文分别输入大语言模型向量数据库Chromadb,直接输出机器译文句向量表征和人工参考译文句向量表征,如公式(18)和公式(19)所示;
(18);
(19);
其中,Eh,Er分别表示机器译文句向量表征和人工参考译文句向量表征,Chromadbzephyr‑7b()表示以大语言模型zephyr‑7b为基座大模型的Chromadb向量数据库输出函数;
计算机器译文句向量表征和人工参考译文句向量表征的余弦相似度,如公式(20)所示;
(20);
其中,CosSim(h, r)表示机器译文句向量表征和人工参考译文句向量表征的余弦相似度,T表示转置操作。
8.根据权利要求7所述的一种基于深度交叉网络的机器译文自动评价方法,其特征在于:步骤S10中计算机器译文质量最终预测分值,具体为:线性加权步骤S8中预测的机器译文质量分值和步骤S9中基于大语言模型向量库的机器译文句向量表征和人工参考译文句向量表征余弦相似度,如公式(21)所示;
(21);
其中, 表示机器译文质量最终预测分值;Score表示步骤S8中预测的机器译文质量分值;0.8为线性插值权重,根据实验经验取得。