1.一种用于专利领域对话机器人的对话状态追踪方法,其特征在于,包括以下步骤:S1,构建基于模式引导的对话状态追踪模型,使用公开数据集训练所述基于模式引导的对话状态追踪模型;
S2,根据《专利审查指南》和《专利法》内容构建专利领域的模式信息;所述模式信息,包括:
1)专利领域对话机器人涉及的用户意图,以及用户意图的自然语言描述;
2)专利领域对话机器人涉及的槽位,以及槽位的自然语言描述;S3,将训练后的对话状态追踪模型用于专利领域对话机器人,获取对话机器人对话中专利领域对话的上下文,以专利领域对话上下文和所述专利领域的模式信息作为输入,使用经训练得到的对话状态追踪模型进行对话状态预测。
2.根据权利要求1所述的用于专利领域对话机器人的对话状态追踪方法,其特征在于,步骤S1中所述基于模式引导的对话状态追踪模型以模式信息和某一时刻的对话上下文为输入,依次经过:对话上下文编码、模式信息编码、意图分类、槽位状态判断、槽位值预测,输出该时刻的对话状态;
所述对话上下文编码和模式信息编码使用预训练语言模型TODBERT,所述对话上下文编码后得到对话上下文的嵌入、所述模式信息编码后得到用户意图以及槽位的嵌入;
所述意图分类用以下公式表示:
其中,t为对话上下文的嵌入,ij为意图j的嵌入,W1、W2、b1、b2均为可训练的参数,h1为模型的隐藏状态,意图j对应的 经过softmax激活函数得到该意图的概率预测;
对所述模式信息编码后得到的所有的用户意图按以上公式进行处理,得到所有意图的概率预测,以概率预测值最大的用户意图作为当前的用户意图;
所述槽位状态判断由一个三门分类器完成,所述三门分类器以所述对话上下文的嵌入以及槽位的嵌入为输入,判断槽位是否在对话上下文中被提及,若被提及则进行槽位值预测;
所述槽位值预测由预测槽位值在对话上下文中起止位置实现,可表示为以下公式:其中,s为槽位的嵌入,ti(1≤i≤n)为对话上下文中各个分词的向量表示,n为对话上下文的长度,h2、 为模型的隐藏状态,W3、Wspan、b3、bspan均为可训练的参数,对话上下文s s在(start_pos ,end_pos)区间内的文本即为槽位的预测值;
模型得到的用户意图预测及槽位值预测即当前的对话状态。
3.根据权利要求2所述的用于专利领域对话机器人的对话状态追踪方法,其特征在于,步骤S2中,所述用户意图包括:“专利检索”和“申请状态查询”,所述用户意图的自然描述分别是:“根据一个或者多个字段获取最符合的十条专利”和“根据用户提供的申请号查询专利当前的申请状态”。
4.根据权利要求3所述的用于专利领域对话机器人的对话状态追踪方法,其特征在于,步骤S2中,所述槽位包括:“关键词”、“申请人”、“发明人”、“类型”、“申请日期”、“申请号”,所述槽位的自然语言描述分别是:“用于和目标专利内容进行匹配的词语”、“提交专利申请的单位”、“专利的实际发明人”、“专利的类型”、“专利申请的提交日期”、“专利申请文件的唯一标识符”。
5.一种用于专利领域对话机器人的对话状态追踪装置,其特征在于,所述装置具有计算机可读存储介质,计算机可读存储介质中配置有计算机程序,所述计算机程序被执行时实现权利要求1至4中任意一项所述方法的步骤。