利索能及
我要发布
收藏
专利号: 2021115189073
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于融合特征的海事海商长文本分类方法,其特征在于,包括以下步骤:获取待分类的海事海商长文本;

对待分类的海事海商长文本进行分割,获得划分好的小段文本;

将划分好的小段文本分别送入BERT预训练模型,获取局部文本的词向量和BERT句向量;

将词向量送入卷积神经网络,生成局部文本的特征向量,融合局部文本的特征向量和BERT句向量作为局部文本的最终句向量;

将各局部文本的最终句向量输入到双向长短期记忆网络,提取文本的全局信息;

通过引入注意力机制关注重点,采用softmax函数得到长文本最终概率表达,即海事海商长文本的分类结果。

2.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,对待分类的海事海商长文本进行分割,获得划分好的小段文本的方法包括:按照长文本的分层结构进行文本划分,将长文本划分为多个短句子,保留文本全局信息。

3.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,将划分好的小段文本分别送入BERT预训练模型,获取局部文本的词向量和BERT句向量的方法包括:对划分好的小段文本的两端加入BERT特殊的标记;

对划分好的小段文本经过词嵌入、句子嵌入、位置嵌入三者的相加融合得到BERT编码器的输入信息;

将BERT编码器的输入信息通过多个双向Transformer编码器编码后得到局部文本的词向量和BERT句向量。

4.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,所述卷积神经网络包括输入层、卷积层、池化层、融合层;

所述输入层为局部文本的词向量组成的n×k矩阵,其中n为局部文本的词数量,k表示词向量的维度;

所述输入层的每一行都是一个单词对应的k维词向量;

所述卷积层通过运用多组不同大小的卷积核进行特征提取;

所述池化层用于对卷积层的结果维度进行降维,采用最大池化对卷积层提取的特征池化成一个特征值;

所述融合层用于对池化层得到的特征值进行拼接融合,构成局部文本的特征向量。

5.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,融合局部文本的特征向量和BERT句向量作为局部文本的最终句向量的方法包括:将局部文本的特征向量和BERT句向量两个一维向量,通过向量首尾拼接重塑为一维的局部文本的最终句向量。

6.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,所述双向长短期记忆网络,提取文本的全局信息由三个门控制细胞状态,分别为遗忘门、输入门、输出门;

所述双向长短期记忆网络按照时间顺序接收局部文本的最终句向量,将多组局部文本的最终句向量分别对应输入到双向长短期记忆网络的多个隐层中;所述双向长短期网络关联整组文本的多组局部信息,提取文本的全局信息;

所述遗忘门用于决定上一时刻的单元状态有多少保留到当前时刻;

所述输入门用于决定当前时刻网络的输入有多少保存到单元状态;

所述输出门用于控制单元状态有多少输出到长短期记忆网络的当前输出值。

7.根据权利要求1所述的基于融合特征的海事海商长文本分类方法,其特征在于,通过引入注意力机制关注重点,采用softmax函数得到长文本最终概率表达的方法包括:对每一时刻的双向长短期记忆网络的隐层输出进行注意力权重的计算和权重的归一化,权重值越大表明该局部信息对分类的准确率影响越大;

对各个时刻的输出特征进行加权求和,得到最终的文本向量;

通过softmax函数计算其概率最大值的类别作为海事海商长文本的分类结果。

8.一种基于融合特征的海事海商长文本分类装置,其特征在于,包括:获取模块:用于获取待分类的海事海商长文本;

分割模块:用于对待分类的海事海商长文本进行分割,获得划分好的小段文本;

词嵌入层模块:用于将划分好的小段文本分别送入BERT预训练模型,获取局部文本的词向量和BERT句向量;

CNN层模块:用于将词向量送入卷积神经网络,生成局部文本的特征向量,融合局部文本的特征向量和BERT句向量作为局部文本的最终句向量;

Bi‑LSTM层模块:用于将各局部文本的最终句向量输入到双向长短期记忆网络,提取文本的全局信息;

注意力层模块:用于通过引入注意力机制关注重点,采用softmax函数得到长文本最终概率表达,即海事海商长文本的分类结果。

9.一种基于融合特征的海事海商长文本分类装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1 7任一项所述方法的步~骤。

10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1 7任一项所述方法的步骤。

~