1.一种基于大数据的智能政务问答系统,其特征在于,包括:文本解析模块、特征提取模块、信息交互模块、答案预测模块;
所述文本解析模块用于计算用户的问题Q与系统文本库中的文档之间的相关性,根据相关性进行排序,选取相关性最高的前K个文档作为召回文档P;
所述特征提取模块用于提取召回文档P与用户问题Q之间的依存关系特征Hsyn;
提取召回文档P与用户问题Q之间的依存关系特征Hsyn,包括:将召回文档P与用户问题Q进行拼接,并输入改进原始编码方式后的BERT模型进行词向量编码,得到文本的词向量表示Hlast;
根据句法依存树得到拼接后的文本的依存关系,根据文本依存关系来构建邻接矩阵Mij,再根据词与词之间的依赖信息映射为向量表示;
根据邻接矩阵Mij计算词与词之间的关系注意力分布;
根据邻接矩阵Mij与词与词之间的依赖信息映射得到的向量表示计算词与词之间的依赖信息注意力分布;
根据上述两种注意力分布对词向量表示Hlast做加权求和,得到文本的依存关系特征Hsyn;
计算词与词之间的关系注意力分布,包括:
其中,attij表示词与词之间的关系注意力分布, 表示节点i与节点j的关系注a1 a2意力分数, W 与W 分别表示计算
词与词之间的关系注意力分布的第一、第二可训练权重系数,LeakyReLU()表示激活函数,hi表示节点i的词向量表示,W表示计算词与词之间的关系注意力分布的第三可训练的权重系数,T表示矩阵的转置, 表示融入邻接矩阵信息后的节点i与节点j的关系注意力分数, 表示提供Mij邻接矩阵信息,当Mij为1的位置保留原始值,当Mij为0的位置赋值为1e‑9,Mi.表示与节点i存在关系的节点下标集合,exp()表示以自然常数e为底的指数函数;
所述信息交互模块用于将召回文档P、用户问题Q以及依存关系特征Hsyn进行多重注意力信息交互,得到最终的文本向量表示Hout;
所述答案预测模块用于将最终的文本向量表示Hout通过全连接层来预测最终答案的起止位置。
2.根据权利要求1所述的一种基于大数据的智能政务问答系统,其特征在于,计算用户的问题Q与系统文本库中的文档之间的相关性,包括:其中,similarity(Q,P)表示问题Q与文档P之间的相关性,Wi表示qi对文档P的权重,qi表示问题Q中的每个字符,N表示所有文档数目,n(qi)表示包含qi的文 档数 目 ,s c o r e (q i ,P ) 表 示 q i 与 文档 P的 相 关 性lenq表示问题Q的长度,len(P)表示文档P的长度,avgp表示文档的平均长度,k表示用来控制文章词频范围的超参数,b表示用来控制文章长度信息量范围的超参数。
3.根据权利要求1所述的一种基于大数据的智能政务问答系统,其特征在于,改进BERT模型的原始编码方式,包括:其中, 表示改进后的编码方式,pi表示i位置上的绝对编码向量,p1为第一个位置的绝对编码向量,α表示α∈[0,1]andα≠0.5的常数。
4.根据权利要求1所述的一种基于大数据的智能政务问答系统,其特征在于,计算词与词之间的依赖信息注意力分布,包括:其中, 表示词与词之间的依赖信息注意力分布, 表示节点i与节点j的依赖信息注意力分数, W1与W2分别表示计算词与词之间的依赖信息注意力分布的第一、第二可训练权重系数,b1与b2分别表示第一、第二偏置项,rij表示依赖信息映射的向量表示, 表示融入邻接矩阵信息后的节点i与节点j的依赖信息注意力分数, 表示提供Mij邻接矩阵信息,当Mij为1的位置保留原始值,当Mij为0的位置赋值为1e‑9,exp()表示以自然常数e为底的指数函数,Ni表示文本的长度。
5.根据权利要求1所述的一种基于大数据的智能政务问答系统,其特征在于,根据上述两种注意力分布对词向量表示Hlast做加权求和,包括:其中, 表示节点i的依存关系特征表示, 表示节点i的关系信息表征, 表示节点i的依赖信息表征,Mi.表示与节点i存在关系的节点下标集合,Watt与Wrel分别表示用于加权求和的第一、第二可训练权重系数,attij表示词与词之间的关系注意力分布,表示词与词之间的依赖信息注意力分布,hj表示节点j的词向量表示,Hlast=[h1,h2,…,hj…,hn]。
6.根据权利要求1所述的一种基于大数据的智能政务问答系统,其特征在于,将召回文档P、用户问题Q以及依存关系特征Hsyn进行多重注意力信息交互,得到最终的文本向量表示Hout,包括:计算问题Q对于文档P的注意力分布,将问题Q信息融入到文档P的表示中,得到新的文~档表征P ;
计算文档P对于问题Q的注意力分布,将文档P信息融入到问题Q的表示中,得到新的问~题表征Q ;
~ ~
将文档表征P 、问题表征Q 以及Hsyn进行拼接,使用自注意力机制,进行依存信息与文本表征的交互,得到文本向量表示Hout。
7.根据权利要求6所述的一种基于大数据的智能政务问答系统,其特征在于,计算得到~新的文档表征P ,包括:
~
P =HQsoftmax(SP)
T
其中,SP表示问题Q对于文档P的注意力分数,SP=ReLU(W′HQ) ReLU(W″HP),HQ表示Hlast中属于问题Q的表征,HP表示Hlast中属于文档P的表征,W′与W″分别表示计算问题Q对于文档P的注意力分数的第一、第二可训练权重系数,ReLU()表示激活函数,softmax()表示归一化操作,T表示矩阵转置。
8.根据权利要求6所述的一种基于大数据的智能政务问答系统,其特征在于,计算得到~新的问题表征Q ,包括:
~
Q =HPsoftmax(SQ)
其中,SQ表示文档P对于问题P的注意力分数,SQ=W″′[HQ;HP;HQ°HP],HQ表示Hlast中属于问题Q的表征,HP表示Hlast中属于文档P的表征,W″′表示计算文档P对于问题P的注意力分数的可训练权重系数,softmax()表示归一化操作,°表示哈达玛积操作。