利索能及
我要发布
收藏
专利号: 2021109434345
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于情境嵌入和知识蒸馏的企业画像标签抽取方法,其特征在于,包括如下步骤:步骤1:对企业情境信息D和企业文本D1进行去重、去空,清洗后得到企业数据集D2和D3,并将其进行关联得到含有企业情境的企业数据集D4;

步骤1.1:定义Text为单个企业情境待清洗数据,定义id和situation分别为企业序号、企业情境信息,并且满足关系Text={id,situation};

步骤1.2:定义Text1为单个企业信息待清洗数据,定义id、content和label分别为企业序号、企业信息和企业标签,并且满足关系Text1={id,content,label};

步骤1.3:定义D为企业情境待清洗数据集,D1为企业信息待清洗数据集,满足关系D={Text1,Text2,…,Texta,…,Textlen(D)},Texta为D中第a个待清洗企业情境数据,D1={Text11,Text12,…,Text1b,…,Text1len(D1)},Text1b为D1中第b个待清洗企业数据,其中len(D)为D中文本数量,变量a∈[1,len(D)],len(D1)为D1中文本数量,变量b∈[1,len(D1)];

步骤1.4:对企业情境数据集D去除空值,得到清洗后的企业情境数据集D2={Text21,Text22,…,Text2c,…,Text2len(D2)},Text2c为D2中第c个清洗后的数据,其中len(D2)为D2中文本数量,变量c∈[1,len(D2)];

步骤1.5:对企业数据集D1去重和去空,得到清洗后的企业数据集D3={Text31,Text32,…,Text3d,…,Text3len(D3)},Text3d为D3中第d个清洗后的数据,其中len(D3)为D3中文本数量,变量d∈[1,len(D3)];

步骤1.6:使用id将数据集D2和D3进行关联,得到含有企业情境的企业数据集D4,其中D4={id,situation,content,label};

步骤2:将企业情境信息向量化后与企业文本进行向量拼接,得到融合企业情境信息的向量E作为模型输入;

步骤2.1:使用Bert模型将D4数据集中的content转化成字向量E1;

步骤2.2:将企业情境信息situation转化成字向量E2;

步骤2.3:使用Bert模型学习后得到刻画企业全局信息的文本向量E3;

步骤2.4:依据字在文本不同位置的语义差异,得到位置向量E4;

步骤2.5:将步骤2.1至步骤2.4所有向量进行拼接得到融合企业情境信息的向量表示E,其中E=E1+E2+E3+E4;

步骤2.6:将向量E作为整个模型输入;

步骤3:构建主干网络与TextCNN枝干网络,所述主干网络为拥有12层Transformer的Bert模型,所述枝干网络采用卷积神经网络内嵌到前11层Transformer主干网络中;

步骤3.1:使用主干网络计算不确定系数UC并指导知识蒸馏;

步骤3.2:向拥有12层Transformer的Bert模型中传入向量E;

步骤3.3:定义循环变量i和j,且i和j赋初值为1;

步骤3.4:定义蒸馏速度SP和不确定系数UC;

步骤3.5:将每条融合企业情境信息的向量E依次传入主干网络进行知识蒸馏和标签抽取;

步骤3.6:使用每层Transformer计算不确定系数UCi并输出向量TRi,其中i为第i层Transformer,i≤11;

步骤3.7:如果不确定系数UCi≤SP且i≤11,则进行枝干网络的蒸馏和标签抽取,否则进行下一步;

步骤3.8:i=i+1;

步骤3.9:当i=12;则结束循环进行主干网络预测;

步骤3.10:在最后一层Transformer获得单个文本的向量序列T={W1,W2,…,We,…,Wlen(T)},其中We为第e个结合文本信息的向量表示,len(T)为T向量长度,e∈[1,len(T)];

步骤3.11:j=j+1;

步骤3.12:结束循环,输出全部向量序列S={T1,T2,…,Tf,…,Tlen(D4)},其中f∈[1,len(D4)];

步骤4:构建双向长短期记忆网络并串联池化层;

步骤4.1:构建卷积神经网络内嵌到前11层Transformer形成枝干网络,使用枝干网络进行知识蒸馏和枝干网络标签抽取;

步骤4.2:将步骤3.6中的向量TRi传入枝干网络,i为第i层的枝干网络;

步骤4.3:在卷积神经网络的卷积层,向量TRi进行卷积操作后输入到池化层;

步骤4.4:池化层进行最大池化并输出向量X1;

步骤4.5:将池化层输出向量X1使用softmax函数进行标签预测,得到枝干网络预测概率向量YB={yb1,yb2,…,ybh,…,ybG},其中ybh表示该输入文本属于第h类标签的概率,G为类别总数,h∈[1,G];

步骤4.6:查找向量YB中的最大值ybmax,将最大值对应的标签类别Y1输出为该企业枝干网络预测标签;

步骤5:将所述向量E传入所述主干网络的每层Transformer依次计算不确定系数UCi,并指导知识蒸馏,发现其隐藏特征,同时依据应用需求自适应调节蒸馏速度SP,通过UCi与SP的大小控制主干网络与枝干网络的输出,再传入所述双向长短期记忆网络和池化层进一步发现其上下文特征和局部特征,完成标签抽取和知识蒸馏;

步骤5.1:向所述双向长短期记忆网络中传入向量序列S;

步骤5.2:定义循环变量t,且t赋初值为1;

步骤5.3:定义M为最大时刻,如果t≤M则跳转至下一步,否则跳转至步骤5.8;

步骤5.4:使用双向长短期记忆网络计算当前时刻的正向输出htl,计算公式为htl=LSTM(xt,h(t‑1)l),其中,xt表示当前时刻网络的输入,h(t‑1)l为t‑1时刻的正向网络输出,t为当前时刻;

步骤5.5:使用双向长短期记忆网络计算当前时刻的逆向输出htr,计算公式为htr=LSTM(xt,h(t‑1)r),其中,xt表示当前时刻网络的输入,h(t‑1)r为t‑1时刻的逆向网络输出,t为当前时刻;

步骤5.6:将正向输出htl和逆向输出htr分别与权重矩阵相乘后进行向量拼接,得到t时刻的输出结果ht;

步骤5.7:t=t+1;

步骤5.8:结束循环,输出全部时刻向量V={h1,h2,…hm,…hM},其中M为最大时刻,hm为m时刻的网络输出,变量m∈[1,M];

步骤5.9:将向量V作为卷积神经网络池化层输入,池化方式采用最大池化;

步骤5.10:将池化层输出向量X使用softmax函数进行标签预测,得到主干网络预测概率向量YT={yt1,yt2,…,ytg,…,ytG},其中ytg表示该输入文本属于第g类标签的概率,G为类别总数,g∈[1,G];

步骤5.11:查找向量YT中的最大值ytmax,将最大值对应的标签类别Y输出为该企业的主干网络预测标签。

2.一种基于情境嵌入和知识蒸馏的企业画像标签抽取装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1所述的基于情境嵌入和知识蒸馏的企业画像标签抽取方法。