1.一种基于大数据的法律文书要素智能识别方法,其特征在于,包括:获取法律案例数据,将其输入到训练好的法律文书要素智能识别模型中,得到法律文书要素识别结果;
法律文书要素智能识别模型的训练过程包括:
S1:获取法律案例训练数据,包括法律文本和文本标签;将法律文本输入到Bert模型中进行处理,得到词嵌入矩阵Q;
S2:采用多头多层注意力模型对词嵌入向量进行处理,得到语义特征C和全局特征G;拼接语义特征C和全局特征G,得到拼接向量C′;得到语义特征C的过程包括:多头注意力卷积模型包括多层卷积层;卷积层的每个头均对输入向量进行处理,得到每个头的局部特征向量;拼接所有头的局部特征向量,得到该层的局部特征矩阵;每个头的局部特征向量表示为:其中,Oj表示第j个头的局部特征矩阵,fi表示Bi‑LSTM网络中第i个卷积核,M表示卷积滤波器对输入向量进行处理后得到的矩阵,Norm(M)表示对矩阵M按行进行归一化, 表示缩放因子,Wj表示随机矩阵;⊙表示按位相乘;
对局部特征矩阵和词嵌入矩阵进行残差连接并归一化,输出归一化特征;前一层的输出为后一层的输入,最后一层输出为语义矩阵C;
S3:提取文本标签的词频统计特征并采用变分自编码器对其进行处理,得到词频统计z向量ζ ;变分自编码器的损失函数为:
其中,θ表示解码器参数,φ表示编码器参数,D表示判别器参数,ζ表示输入向量,z表示隐向量, 表示qφ(z|ζ)的期望,qφ(z|ζ)表示编码器输出的隐变量的后验分布,KL表示两概率分布之间的KL散度,pθ(z|ζ)表示解码器输出的数据的条件分布, 表示pθ(z|ζ)的期望,D()表示判别器的判断结果;
z O
S4:融合语义特征C和词频统计向量ζ ,得到融合特征向量H;融合语义特征和词频统计C向量的过程包括:将语义特征和词频统计向量投影到共享空间,得到投影语义向量H和投ζ C ζ O影词频向量H;融合投影语义向量H和投影词频向量H,得到融合特征向量H,表示为:O C C C′ ζ
H=GeLU(H)+sigmoid(cos(H))+Value(H ,∈)⊙HC′
其中,GeLU()表示GeLU激活函数,sigmoid()表示sigmoid激活函数,Valve(H ,∈)表示门控神经网络;门控神经网络表示为:C′
其中,H 表示中间参数,C表示语义特征,σ表示置信度参数;
O ′
S5:采用注意力机制处理融合特征向量H 、语义特征C和拼接向量C ,得到综合特征;根据综合特征得到法律文书要素识别结果;得到综合特征的公式为:O
其中,S表示综合特征,softmax()表示softmax激活函数,H表示融合特征向量,W1表示第一随机权重矩阵,W2表示第二随机权重矩阵,b表示偏移量,dc表示语义特征C的维度,∈表示常数,W3表示第三随机权重矩阵,C′表示拼接向量;
S6:计算模型总损失并根据模型总损失调整模型参数,得到训练好的法律文书要素智能识别模型;计算模型总损失的公式为:其中,L表示交叉熵损失,ωi表示平滑指数, 表示文本标签, 表示法律文书要素识别结果。