利索能及
我要发布
收藏
专利号: 202110623083X
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种服务流程抽取方法,其特征在于,包括以下步骤:

S1:对数据集中的文档进行数据预处理;

S2:将步骤S1预处理得到的数据基于Bert编码,得到各个词的词向量表示;

S3:基于步骤S2得到的词向量表示,使用单层BILSTM捕获句子中的有效上下文特征;

S4:基于步骤S2得到的词向量表示,使用multi‑head attention机制捕获跨句子之间的有效上下文特征;

S5:基于步骤S3和S4得到的上下文特征,使用特征融合层进行特征融合,即融合来自不同粒度的上下文特征;

S6:通过多任务联合优化模块进行多任务联合优化,主要包含pairwise局部任务和listwise全局任务;基于pairwise算法得到任意两个事件对的序列关系;在给定文档和事件的条件下,基于listwise算法,模型需要给出与每个事件相对应的等级值,根据事件相对应的等级值得到相应的事件序列关系;之后联合训练pairwise局部任务和listwise全局任务;

S7:使用全局推断模块解决事件对之间无法满足传递性的冲突,训练得到服务流程抽取模型;包括:首先利用模型得到两两事件对之间的序列关系,从而得到整个事件序列,但是整个事件序列并不满足传递性约束;使用整数线性规划解决不能满足传递性约束的问题;定义 为二元指示变量,当且仅当st=pr时变量值才能取到1,st是事件序列关系的真实标签,pr是事件对序列关系的预测标签; 表示模型预测事件对(ei,ej)序列关系为pr的置信度,该置信度产生自事件序列抽取模型中的softmax层的输出;为了获得全局最优分配结果,定义目标函数如下:其中,E是事件的集合,R是事件序列关系标签集;约束条件表示如果事件对 的关系标签为pr1,事件对 的关系标签为pr2,那么事件对 的关系标签pr3必须满足如上约束条件。

2.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的数据预处理方式,包括:对数据集中的事件进行标注,并标注相应的事件id。

3.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的预处理之后的数据基于bert编码得到词向量表示,具体是指:bert模型能够对单词的语义信息进行建模,建模之后可应 用于各种下 游任务;给 定一个 文档d,对 于文档中 的每个字符输入到bert模型中:

其中, 表示第i个句子中的第n个字符以及相应的单词经过bert编码后的表示形式。

4.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的使用单层BILSTM捕获句子中的有效上下文特征,具体是指:BILSTM能够捕获句子级别的有效上下文特征,因此在句子上应用了单层BILSTM;基于Bert输出的词向量表示,通过BILSTM层得到句子的特征向量表示:其中, 表示第i个句子中的第n个字符经由BILSTM层得到的特征表示。

5.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的使用multi‑head attention机制捕获跨句子之间的有效上下文特征,具体是指:距离是BILSTM特征提取效果的主要限制因素,因此仅使用BILSTM来提取句子中的上下文特征,对于跨句子之间的上下文特征提取,使用了multi‑head attention机制,同时定义该层为MHA;基于Bert输出的词向量表示,通过MHA层得到句子的特征向量表示:其中, 表示第i个句子中的第n个字符经由MHA层得到的特征表示。

6.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的使用特征融合层融合来自不同粒度的上下文特征,具体是指:考虑到并非所有特征都对最终的事件序列抽取任务做出同等的贡献,采用门机制来加权不同粒度的上下文信息,定义门机制如下:其中,g表示门机制的注意力向量,W1和W2是模型需要学习的权重系数,b是模型需要学习的偏差系数;σ表示的是sigmoid激活函数;⊙表示向量中对应元素逐个相乘; 表示第i个句子中的第n个字符的特征融合表示。

7.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的多任务联合优化模块中的pairwise局部任务,具体是指:假设En是从文档Dn中提取得到的事件集合,ei、ej表示事件集合En中任意两个不同的事件,输入文档Dn中任意事件对(ei,ej),输出得到事件对的序列关系,其中输出“0”表示事件对的顺序是正序,即事件ei出现在事件ej之前;同样输出“1”表示事件对的顺序是逆序,即事件ei出现在事件ej之后;因此可以将该任务定义为二分类任务,使用两层的多层感知机作为模型,基于多粒度上下文编码模块得到的事件词的向量表示,输入到多层感知机中:其中,r表示的是二分类的类别,并且r∈{0,1},p(r|ei,ej)表示模型输出的二分类问题的概率值;W1′、W2′表示权重矩阵,b1、b2表示偏差向量,σ表示sigmoid激活函数, 表示基于多粒度上下文编码模块得到的事件词的向量表示;

给定标注好的语料 SD表示文档的总数量,定义优化函数如下:

其中,xn和yn分别表示第n个训练事件对和事件对在标注语料库D中对应的标签;θL表示模型需要学习的参数值; 表示xn的观测值,即模型给出的预测值; 表示指示函数, 为真则指示函数值为1,否则指示函数值为0; 是第n个训练事件对在参数为θL的情况下,模型给出事件对序列关系预测的概率值。

8.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的多任务联合优化模块中的listwise全局任务,具体是指:listwise模型需要在给定文档和事件的条件下给出与每个事件相对应的分数;定义该层输入为文档Dn中的所有事件,输出为每个事件所对应的等级值,之后根据等级值对事件进行排序,并获得与文档相对应的事件序列;使用两层的多层感知机作为计分模型,基于多粒度上下文编码模块得到的事件词的词向量表示,输入到多层感知机中:score(e)=W2″·tanh(W1″·re+b1′)+b2′

其中,e表示任意事件,score(e)表示事件的预测分数;W1″、W2″表示权重矩阵,b1′、b2′表示偏差向量,re表示基于多粒度上下文编码模块得到的事件词的向量表示,tanh为激活函数;并且采用smooth L1 loss;定义优化函数如下:其中,p表示模型给出的预测标签、q是真实标签,具体的, 表示在第Di个文档对应的事件序列中第j个事件相对应的真实等级值, 表示第Di个文档对应的事件序列中第j个事件相对应的模型给出的对事件的预测分数score(e)。

9.根据权利要求1所述的服务流程抽取方法,其特征在于,所述的联合训练pairwise局部任务和listwise全局任务,具体是指:仅在模型训练阶段使用listwise全局任务,在测试阶段,仅使用pairwise局部任务来获取完整的事件序列;定义联合训练的联合损失函数如下:J(θ)=L(θL)+λG(θG)

其中,λ是超参数用来平衡L(θL)和G(θG)。