1.一种基于多特征融合点云分割的三维建模方法,其特征在于:包括以下步骤:步骤1:利用NARF算法从3D点云原始数据中提取出相关点,作为关键点;
步骤2:采用自注意力机制构建自注意力机制层,将原始3D点云数据输入到自注意力机制层,来提取点云的邻域细粒度特征和全局信息;
步骤3:在多层感知器中嵌入图注意力机制,将3D点云原始数据输入构建的图注意力机制层,来提取局部几何信息;
步骤4:采用多头图形注意力机制来聚合步骤3中提取出的特征,并加入步骤1中提取的关键点得到权重矩阵;
步骤5:通过局部特征聚合描述符VLAD进一步提取步骤1‑3中获得的点云的深度语义特征;
步骤6:将步骤1‑5中提取的点云特征经过由多层感知器组成的全连接层,得到最后的分割数据;
步骤7:利用步骤6中获得的点云分割数据,构建出三维模型;
所述步骤2的具体过程如下:
将3D点云输入到自注意力机制层后,得到了输入向量Q,K,V的线性映射,Q,K,V向量的值组合成三维点云的邻接向量X,通过自注意力机制层中的编码器聚合局部和全局信息,输入向量Q,K,V的线性映射公式如下:其中 R表示输入向量,n×dk与m×dk代表输入向量的维度;
对于单个输入向量qt,qt∈Q,Q,K,V的计算公式如下:其中Z为标准化因子,vs∈V,ks∈K,q,k,v分别是query,key,value的缩写, 作为调节器,这样输入激活函数的内积不会太大;自注意力机制的核心部分是 用于测量qt和vs之间的非线性映射关系;
每个ks和qt相乘,利用softmax函数去评估ks和qt之间的相似性,最后经过计算的结果是一个加权和向量dv;
所述步骤3的具体过程如下:
3.1、使用邻近算法KNN构建K最邻近图G=(V,E),其中V代表节点集,每个点用xi表示,E表示邻接点对应的边集,每条边用yij表示,并将其定义为邻接特征;
3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数,其输出结果的维度均为F0,公式如下:x′i=h(xi,θ)
y′ij=h(yij,θ)
其中,h()表示一个参数化的非线性函数,θ表示一组可学习的滤波器参数;
3.3、使用非线性激活函数LeakyReLU融合自系数x′i和局部系数y′ij得到注意系数,具体公式如下:′
cij=LeakyReLU(h(xi,θ)+h(y′ij,θ));
3.4、使用softmax函数对每个点云节点的邻近注意力系数进行归一化,以保持相邻点之间的注意力系数αij的一致,计算公式如下:其中Ni表示第i个点的邻近节点集;
3.5、为了获取足够的结构信息和稳定网络,将M个独立的单头的图注意力机制连接起来,生成具有M×F0通道的多注意特征;
多头图注意力机制的输出是多注意特征和多图特征,分别连接对应头部的注意力特征和图形特征, 的计算公式如下:其中, 表示单头图注意力特征, 是第m头的注意力特征,M是头的总数,||是特征通道上的串联操作;
所述步骤5中,使用每个点的低级几何描述符和视觉词汇表之间的关系来描述高级语义特征,具体过程如下:将m1个聚类中心作为局部特征聚合描述符VLAD的参数,给定n1个二维点作为VLAD的输入,同时初始化m1个聚类中心,这m1个聚类中心是通过反向传播学习的参数,每个聚类中心被分配多个点,残差向量pi(d)‑ck(d)表示点pi和第k个聚类中心在第d维度上的差异,r表示m1个聚类中心和第i个点之间的关系;r的分量(n,d)计算公式如下:其中第i个点的第d维度表示为pi(d),第k个聚类中心的第d维度用ck(d)表示,ai(Ck)表示注意系数;利用注意系数ai(Ck)来加权第k个聚类中心和第i个点之间的关系;
ai(Ck)的取值只有0和1,其中1表示表示最接近描述符pi的聚类中心,其他情况为0。