利索能及
我要发布
收藏
专利号: 2022106552787
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于类编解码结构的草图语义分割方法,其特征在于,包括如下步骤:(1)点格式数据的获取:利用最远点采样法对草图样本进行采样,将草图样本转化为具有N个点的点集合;

(2)构建草图语义分割模型:所述草图语义分割模型包括类编解码结构,所述类编解码结构包括编码阶段和解码阶段,所述编码阶段包括若干个局部特征聚集模块,所述解码阶段包括若干个多层感知机以及末尾的两个子分支,所述末尾的两个子分支包括点层次子分支和线段层次子分支,所述线段层次子分支包括基于多头注意力机制的线段层次自注意力模块;

(3)训练草图语义分割模型:点层次子分支和线段层次子分支分别连接两个交叉熵损失,两个交叉熵损失联合用于引导草图语义分割模型的训练;所述交叉熵损失表示为:L=Lpoint‑level+Lsegment‑level

其中,Lpoint‑level是点层次交叉熵损失,Lsegment‑level是线段层次交叉熵损失;yi,j是一个独热向量,即:当yi,j的语义为k时,yi,j,k为1,而yi,j向量的其他所有元素都为0;

(4)获取草图语义分割结果:将测试的样本输入至步骤(3)训练好的草图语义分割模型,点层次子分支生成点层次语义分割图,线段层次子分支生成线段层次语义分割图,将点层次语义分割图与线段层次语义分割图融合,获得最终的分割结果。

2.根据权利要求1所述的一种基于类编解码结构的草图语义分割方法,其特征在于,所述步骤(2)的局部特征聚集模块的内部包含了两个基本处理步骤,包括:使用区域感知过程P获取采样点的周围区域;基于采样点和所获取的周围区域使用特征计算过程C编码采样点的特征。

3.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法,其特征在于,所述区域感知过程P随机使用欧式距离或笔画距离并结合K近邻算法来获取采样点的周围区域;所述笔画距离定义如下:其中,(xi,yi)为采样点pi的坐标,(xij,yij)为pi周围任意一点pij的坐标,si和sij为pi和pij的所属笔画ID,m是一个缩放因子,且m满足以下公式:其中,w为草图的宽度,h为草图的高度。

4.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法,其特征在于,所述特征计算过程C对pi的周围区域进行编码,编码过程捕捉了草图信息,所述草图信息包括:绝对位置信息、相对位置信息、中间阶段特征、距离信息和笔画信息等,具体表示如下:其中,fi和fij分别为pi和pij的中间阶段特征,distij为pi与pij之间的距离,θij为pi与pij之间的角度,sij为pij的笔画ID,M为多层感知机,δ为ReLU函数。

5.根据权利要求1所述的一种基于类编解码结构的草图语义分割方法,其特征在于,所述步骤(2)的线段层次自注意力模块构建和增强了草图中线段与线段之间的关系,给定线段特征fs,构建和增强线段之间关系的具体步骤为:首先,通过多层感知机和矩阵形变获取相关的查询向量vq和键向量vk,具体过程如下:vq=T(M(fs))

vk=T(M(fs))

其中,M为多层感知机,T为矩阵形变;依据线段在笔画中的位置pstroke、线段在草图中的位置psketch和查询嵌入字典,得到线段在笔画中的位置嵌入和线段在草图中的位置嵌入,具体过程如下:estroke=T(S(pstroke,dstroke))

esketch=T(S(psketch,dsketch))

其中,S是相关字典的查询过程;

进一步,将位置嵌入estroke和esketch相加,并将相加结果与查询向量vq相乘,得到线段的位置特征,具体过程如下:其中,+代表逐元素相加,代表矩阵相乘;

进一步,将查询向量vq进行形变与键向量vk相乘得线段的内容特征,详细过程如下:最终,建立和增强线段与线段关系的线段特征的计算方法如下:

其中,vv代表值向量,softmax为激活函数,fs'为线段层次自注意力模块处理后的线段特征。

6.根据权利要求1所述的一种基于类编解码结构的草图语义分割方法,其特征在于,所述类编解码结构执行的操作为:利用多层感知机使采样点的特征维度先增加后减少;类编解码结构对采样点不执行下采样和上采样操作,采样点的个数在编解码的过程中维持不变;类编解码结构通过收集和连接中间若干阶段的草图特征实现全局多尺度机制。