1.基于多层级深度特征融合的笔画提取方法,其特征在于,包括以下步骤:步骤1、获取汉字图像,构建汉字笔画分割数据集,对所述汉字图像上的笔画进行笔画标注,并将笔画掩膜、笔画长度、笔画掩膜的矩形框作为标签信息;
步骤2、搭建笔画分割模型,所述笔画分割模型包括汉字图像预处理模块、全局特征提取网络、主要视觉特征提取网络、时序特征提取网络、空间特征提取网络;
步骤3、对所述笔画分割模型进行训练和测试;
步骤4、将待测汉字图像输入步骤3得到的笔画分割模型,得到笔画分割提取结果。
2.根据权利要求1所述的基于多层级深度特征融合的笔画提取方法,其特征在于,所述笔画类型包括横、竖、撇、捺、折五类。
3.根据权利要求1所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2具体包括以下步骤:
步骤2.1、汉字图像预处理模块对所述汉字图像进行统一规范化处理;
步骤2.2、全局特征提取网络提取笔画掩膜的矩形框、笔画长度作为每个笔画的全局特征;
步骤2.3、主要视觉特征提取网络提取特征向量,将每个笔画的全局特征与特征向量进行拼接,得到组合特征向量;
步骤2.4、采用时间特征提取网络对组合特征向量进行特征提取,得到笔画序列的时序特征;
步骤2.5、采用空间特征提取网络进行笔画空间特征的提取,得到笔画空间特征,将所述笔画空间特征与笔画序列的时序特征进行拼接,得到融合特征,将融合特征输入到全连接层和softmax函数中,得到笔画的分类。
4.根据权利要求3所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.2具体为:全局特征提取网络将笔画长度作为全局特征向量的首个元素,将笔画掩膜的矩形框的四个顶点角坐标作为全局特征向量的后四个元素,组成一个五维向量。
5.根据权利要求3所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.4具体为:采用双向长短时记忆网络对组合特征向量进行特征提取,计算过程如下:先通过前向长短时记忆模型、后向长短时记忆模型分别提取前向特征向量和后向特征向量:再将所述前向特征向量和后向特征向量进行组合,得到时序特征。
6.根据权利要求3所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.5中笔画空间特征的提取过程为:根据汉字的笔画序列构建图结构,每个笔画对应一个节点,节点之间的连接方式根据笔画之间的关系构建无向边;如果笔画之间矩形框存在交叉,则将图中对应顶点之间的无向边进行连接,得到边矩阵,即空间特征。
7.根据权利要求6所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.5具体包括以下步骤:
步骤2.5.1、步骤2.5.1、建立边矩阵和单位矩阵;
步骤2.5.2、对所述边矩阵进行初始化,得到邻接矩阵,并初始化时序特征;
步骤2.5.3、聚合所述邻接矩阵中邻居节点特征,得到前一层的特征向量;
步骤2.5.4、对前一层的特征向量进行非线性变换,得到更新后的特征向量;
步骤2.5.5、将更新后的特征向量传播到每个节点的邻居节点上;
步骤2.5.6、重复步骤2.5.3‑2.5.5,直到达到四层GCN层数,输出空间特征;
步骤2.5.7、将所述空间特征和时序特征进行拼接,得到融合特征,将融合特征输入到全连接层和softmax函数中,得到每个笔画类别的概率分布,选出概率最大的笔画标签,从而实现笔画的分类。
8.根据权利要求7所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.5.7中,全连接层的处理过程为:FC(Ri)=W·Ri+b,其中,FC表示全连接操作,W是权重矩阵,b是偏置向量。
9.根据权利要求7所述的基于多层级深度特征融合的笔画提取方法,其特征在于,步骤
2.5.7中softmax函数的计算公式如下:其中,xi表示输入向量x的第i个元素,C表示分类的数量。