1.一种类间表征对比驱动的图卷积点云语义标注方法,其特征在于,包括:
S1.利用几何结构编码描述点云邻域结构;
S2.将各编码层中几何结构编码信息进行多层间传递,依据不同感受野下的几何结构信息为邻近点语义关系的挖掘提供空间基础;
S3.结合结构信息与语义特征融合图卷积模块,以邻域图结构为基础,在局部邻域范围内,通过传递边卷积以及注意力池化实现邻域信息的层内提取与传递,利用几何结构信息充分挖掘相邻点间的语义相关性,不断丰富语义特征信息;
S4.以类间表征对比作为驱动,利用对比损失函数使相同类别高维度语义特征在特征空间中聚集,使不同类别点语义特征远离,使用类间表征对比损失和交叉熵损失函数协同驱动优化策略对分类结果利用梯度反向传播进行训练;
S5.构建点云语义标注网络模型,利用点云语义标注网络模型进行三维点云数据的语义标注测试实验;
T
S1包括:定义一个张量P=[p1,p2,…,pi]来表示空间中的点云,其中pi表示第i个点,为每一个中心点建立局部邻域,构建K邻近算法搜寻距离每个中心点最近的K个点,采用欧氏距离为距离度量方式,得到第i个点的局部邻域[p1,p2,…,pn],空间位置编码ri为:其中 表示每个中心点所对应的K个邻域点,‖‖表示中
心点与其邻域点的欧氏距离,[…]表示在特征维度上进行级联操作,获取到的点云几何结构信息r,该张量大小表示为 其中 表示特定形状大小的张量,N表示点云数量,10表示由空间位置编码所描述的特征维度,其表述的特征是邻域范围内的,通过注意力池化操作实现点云特征信息在邻域内的聚合,得到各个点对应几何结构编码g,该张量大小m表示为 设g 为第m层中得到几何结构编码信息,经过前层几何结构编码传递后
m′ m′ 1 m‑1 m
得到包含不同感受野点云几何结构编码g :g =[g ,DS(g ),…,DS(g)],其中,DS表示下m′采样操作;点云语义特征表示为F=[f1,f2,…,fn],将第m层g 与语义特征F在特征维度上进m′行级联后,输入结构信息与语义特征融合图卷积模块,结果表示为:G=[g ,F];结构信息与语义特征融合图卷积模块包括传递边卷积层、注意力池化层和残差堆叠图卷积;所述传递边卷积层进行信息传递的过程包括:S2.1.构建图模型,以KNN获取每个点最邻近的K个点的索引,并建立中心点与邻域点间的有向边;S2.2.获取边向量,在建立有向边时使用富有语义信息的特征向量和具有邻域结构的几何编码信息,边向量表示为: 其中Gi表示第i个点对应的几何结构编码, 表示第i个点对应邻域下第j个点的几何结构编码, 则表示第i个点与对应邻域下第j个点间有向边信息;S2.3.提取边特征,将边向量通过三层连续堆叠的多层感知机MLP提取边属性特征;S2.4.聚合边属性特征,使用自注意力机制自主的学习重要的邻域特征,最大程度上表征其所蕴含的邻域信息,最终结果表示为:Fi=hΘ(AttPool(Ei)),其中,AttPool表示注意力池化操作,Ei表示第i个点与其邻域点所对应的边属性特征,Fi表示边特征聚合后第i个点富有语义信息的特征向量;注意力池化层包括:给定邻域边属性特征Ei,在邻域维度下同时具有归一化特性的注意力得分score通过下式计算:score=δ(w,Ei),其中,w表示一组权重共享的权重,δ表示用以归一化注意力得分权重的softmax激活函数以及单层MLP;
所学习的注意力得分视为自动选择重要的潜在特征的掩膜,将注意力得分与对应中心点边属性特征进行逐一对应元素相乘,生成一组加权特征,对加权特征进行求和运算得到具有局部代表性的中心点特征 利用堆叠连续的传递边卷积层,通过邻域间特征聚合与传递,在不改变邻域点数量下,不断扩大点云感受野;并利用残差连接,共同组成残差堆叠图卷积;点云语义标注网络模型包含4层下采样层,模型输入原始点云数量为45056,其对应语义特征维度为8,每次下采样后得到点的数量分别为11264、2816、
704、176,而与之对应的语义特征维度分别为16、64、128、256;
下采样过程中,直接在原始点云内随机选取部分,设第i层采样前的点云为εi,采样后的点云为εi+1,首先以εi+1为中心点在εi中寻求局部邻域,得到 用邻域特征来表征中心点特征,使用最大池化聚合邻域特征信息,将未采样点的特征信息充分挖掘并整合至采样点中,减少点云在下采样过程中造成的信息丢失;上采样使用最近邻插值方法,并借助于跳跃连接结构将高层次中丰富的语义特征信息与低层次中丰富的空间结构信息融合;
上采样也经过4层,其各层对应的点云数量分别为704、2816、11264、45056,其对应语义特征维度分别为256、128、32、32,通过上采样获得的原始点的语义特征信息,随后经过多个全连接层得到每个点在各个类别上的得分;对比损失函数为:其中μv表示网络末层提取的对应于特定类别v的高维度语义特征向量,δi则表示不断更新的在第i个类别上的平均特征向量,D(·)这里选用欧式距离作为距离量测的标准,Δ表示特征向量之间相似程度;最终损失函数为:Ltotal=λ×Lcon+Lcro,λ为3.0,其中Lcro表示交叉熵损失函数。