利索能及
我要发布
收藏
专利号: 2022107783276
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多特征自适应增强的化学药品分类方法,其特征在于,包括训练阶段和测试阶段,所述训练阶段包括以下步骤:S1对化学药品数据文本进行预处理,得到预处理后的数据文本,并划分出训练集、验证集和测试集;

S2制作所述训练集的特征属性表以及按照字频率构建字典;

S3将预处理后的数据文本和根据文本构建的字典输入到网络模型中,实现对训练样本进行特征处理,进而完成分类;

S4将融合后的训练集文本输入单层全连接神经网络,将所述单层全连接神经网络作为分类器,衡量预测概率与真实类别的差距,并反向传播更新参数,每次更新参数后计算验证集上损失函数的值;

S5训练所述网络模型,直至调整模型参数使得目标函数最优;

所述测试阶段包括以下步骤:

S6制作预处理后的测试集文本的特征属性以及构建字典;

S7将预处理后的测试集文本和测试集对应的字典输入到训练后的网络模型中;

S8得到测试集对应的化学药品样本文本的分类;

采用网络模型对训练样本进行特征处理具体包括以下步骤:

S31在构建的字典中,查询所述训练集文本的每个字,对每个字的字向量进行字编码,再经过位置编码得到向量化后的句子;

S32对数据文本进行特征提取和特征交互,得到交互后向量化的句子;

S33将步骤S31处理后的数据集文本进行特征增强;

S34将步骤S32得到的结果和步骤S33得到的结果进行末端特征融合,最后输出分类结果;

所述步骤S32具体包括以下步骤:

S321将向量化后的句子输入到9层的Transformer模型中,每一层Transformer进行特征的提取,然后经过softmax归一化输出分类结果;

S322使用BiGRU模型和3×3的卷积将输入的结果融合到第二层的Transformer中,此时的输入为第一层Transformer的结果;再将第二层的Transformer结果通过4×4的卷积后融合到步骤S321中第五层的Transformer中;将步骤S321中的第一层的Transformer结果分别使用大小为2×Embed、3×Embed、4×Embed的矩阵进行卷积,将第一层的Transformer结果进行最大池化和连接,改变维度后与经过池化层的上一步4×4的卷积后的结果进行残差连接,再依次使用2×2和5×5的卷积对提取到的特征进行进一步的融合,把结果融合到步骤S321主干网络中的第八层Transformer中,其中,Embed是句子中每个字的维度;

S323将步骤S321中的9层的Transformer模型组成的主干网络中的第3、6、9层Transformer的结果输出,将第二维度的各个向量重新组合成新的向量,即每一句话的第一个字到最后一个字都各自提取出来合并到一起,卷积池化和拼接得到结果Yextraction;

所述步骤S33具体包括以下步骤:

S331将步骤S31得到的向量化后的句子的各个特征提取出来,并且判断是长文本还是短文本,并返回一个长短文本的比例α;

S332对BiGRU的输出结果在第1维度增加一个维度,分别使用宽为2、3、4,长为句长的卷积核对其进行卷积,通过最大池化和全连接,得到维度[batch_size,embed_dime×3],在经过自适应全局平均池化得到维度[batch_size,seq_len,embed_dime],batch_size是一次训练所选取的样本数,seq_len是句子长度,embed_dime是字向量维度,最后将多个长文本分类器得到的结果进行残差连接和层归一化,得到向量Xenhance_long;

S333对BiGRU的输出结果在第1维度增加一个维度,分别使用宽为2、3、4,长为句长的卷积核对其进行卷积,然后通过最大池化和全连接,得到维度[batch_size,embed_dime×3],在经过Change模块的自适应全局平均池化得到维度[batch_size,seq_len,embed_dime],batch_size是一次训练所选取的样本数,seq_len是句子长度,embed_dime是字向量维度,最后将多个短文本分类器得到的结果进行残差连接和层归一化,得到向量Xenhance_short;

S334将向量Xenhance_long和向量Xenhance_shor按照得到的长短文本比例α进行相加融合,得到向量Yenhance,其维度为[batch_size,seq_len,embed_dime],其公式如下所示:Yenhance=Xenhance_long·α+Xenhance_short·(1‑α)融合后的结果Yenhance和步骤S323得到的结果Yextraction按照比例β融合相加,然后进行softmax分类,得到结果向量Y,其公式如下所示:Y=softmax(Yextraction·β+Yenhance)。

2.根据权利要求1所述的基于多特征自适应增强的化学药品分类方法,其特征在于,所述步骤S2包括以下步骤:S21使用步骤S1得到的训练集文本来制作字典,用不同的特殊字符代替数据文本中的特殊文本,所述特殊文本包括:字典里查不到的字、空白、数字、句子标识以及Mask遮罩;

S22根据化学药品数据文本字编码的需要,向字典里添加其他关键字,完成字典的构建;

S23将训练集文本中的重要属性字段提取出来构建特征属性表。

3.根据权利要求1所述的基于多特征自适应增强的化学药品分类方法,其特征在于,所述步骤S31具体包括:训练集文本对应句子维度为[batch_size,seq_len],使用构建的字典中查询每个字的字向量完成字编码,进而维度扩展为[batch_size,seq_len,embed_dime],将字编码后的结果用sin和cos函数按以下公式进行位置编码:model

其中,pos指的是句中字的位置,i指的是字向量的维度,d 是指总共词向量的维度,得到的位置编码维度为[batch_size,seq_len,embed_dime],将位置编码和字编码结果并相加得到Xembedding,将Xembedding输入给特征提取模块中,其维度为[batch_size,seq_len,embed_dime],batch_size是一次训练所选取的样本数,seq_len是句子长度,embed_dime是字向量维度。

4.一种基于多特征自适应增强的化学药品分类系统,其特征在于,该系统包括训练模块和测试模块,所述训练模块包括:预处理模块,用于对化学药品数据文本进行预处理,得到预处理后的数据文本,并划分出训练集、验证集和测试集;

字典构建模块,用于制作所述训练集的特征属性表以及按照字频率构建字典;

分类模块,用于将预处理后的数据文本和根据文本构建的字典输入到网络模型中,实现对训练样本进行特征处理,进而完成分类;

训练模块,用于将融合后的训练集文本输入单层全连接神经网络,将所述单层全连接神经网络作为分类器,衡量预测概率与真实类别的差距,并反向传播更新参数,每次更新参数后计算验证集上损失函数的值,训练所述网络模型,直至调整模型参数使得目标函数最优;

所述测试模块包括:

特征属性制作模块,用于制作预处理后的测试集文本的特征属性以及构建字典;

输入模块,用于将预处理后的测试集文本和测试集对应的字典输入到训练后的网络模型中;

结果模块,用于得到测试集对应的化学药品样本文本的分类;

所述分类模块具体包括:

Pos‑Embed模块,用于在构建的字典中,查询所述训练集文本的每个字,对每个字的字向量进行字编码,再经过位置编码得到向量化后的句子;

特征提取模块,用于对数据文本进行特征提取和特征交互,得到交互后向量化的句子;

特征增强模块,用于将特征提取模块处理后的数据集文本进行特征增强;

特征融合模块,用于将特征提取模块得到的结果和特征增强模块得到的结果进行末端特征融合,最后输出分类结果;

所述特征提取模块包括:

主干网络单元,用于将向量化后的句子输入到9层的Transformer模型中,每一层Transformer进行特征的提取,然后经过softmax归一化输出分类结果;

过程增强单元,用于使用BiGRU模型和3×3的卷积将输入的结果融合到主干网络单元中第二层的Transformer中,此时的输入为主干网络单元中的第一层Transformer的结果;

再将第二层的Transformer结果通过4×4的卷积后融合到主干网络单元中第五层的Transformer中;将主干网络单元中的第一层的Transformer结果分别使用大小为2×Embed、3×Embed、4×Embed的矩阵进行卷积,将第一层的Transformer结果进行最大池化和连接,改变维度后与经过池化层的上一步4×4的卷积后的结果进行残差连接,再依次使用2×2和5×5的卷积对提取到的特征进行进一步的融合,把结果融合到主干网络单元中的第八层Transformer中,其中,Embed为句子中每个字的维度;

特征交互单元,用于将主干网络单元中的9层的Transformer模型组成的主干网络中的第3、6、9层Transformer的结果输出,将第二维度的各个向量重新组合成新的向量,即每一句话的第一个字到最后一个字都各自提取出来合并到一起,卷积池化和拼接得到结果Yextraction;

所述特征增强模块具体包括:

计数判断单元,用于将Pos‑Embed模块得到的向量化后的句子的各个特征提取出来,并且判断是长文本还是短文本,并返回一个长短文本的比例α;

长文本特征提取单元,用于对BiGRU的输出结果在第1维度增加一个维度,分别使用宽为2、3、4,长为句长的卷积核对其进行卷积,通过最大池化和全连接,得到维度[batch_size,embed_dime×3],在经过自适应全局平均池化得到维度[batch_size,seq_len,embed_dime],batch_size是一次训练所选取的样本数,seq_len是句子长度,embed_dime是字向量维度,最后将多个长文本分类器得到的结果进行残差连接和层归一化,得到向量Xenhance_long;

短文本特征提取单元,用于对BiGRU的输出结果在第1维度增加一个维度,分别使用宽为2、3、4,长为句长的卷积核对其进行卷积,然后通过最大池化和全连接,得到维度[batch_size,embed_dime×3],在经过自适应全局平均池化得到维度[batch_size,seq_len,embed_dime],batch_size是一次训练所选取的样本数,seq_len是句子长度,embed_dime是字向量维度,最后,将多个短文本分类器得到的结果进行残差连接和层归一化,得到向量Xenhance_short;

融合单元,用于将向量Xenhance_long和向量Xenhance_short按照得到的长短文本比例α进行相加融合,得到向量Yenhance,其维度为[batch_size,seq_len,embed_dime],其公式如下所示:Yenhance=Xenhance_long·α+Xenhance_short·(1‑α)融合后的结果Yenhance和特征交互单元得到的结果Yextraction按照比例β融合相加,然后进行softmax分类,得到结果向量Y,其公式如下所示:Y=softmax(Yextraction·β+Yenhance)。