利索能及
我要发布
收藏
专利号: 2025101010884
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述方法包括以下步骤:步骤一,对原始点云数据进行预处理,包括特征增强、类别权重平衡、采样、批次构建和特征标准化,考虑一个有 个点的点云数据集,表示为 ,其中每个点 都包括空间坐标 和特征向量 , 的大小取决于传感器类型;激光雷达扫描得到的为笛卡尔坐标系下的三维点云数据,即每个点仅有三个基本维度 ,分别表示点的位置坐标,使用的数据集所含特征向量 为RGB颜色特征;

步骤二,局部邻域图构建,包括降采样、分组、仿射变换和图结构建模;首先通过最远点采样FPS从原始点云中均匀选取代表性点,降低数据复杂度的同时保留几何特征;然后,为每个采样点划定局部邻域,利用k近邻算法获取其最近的邻域点集;接着,引入几何仿射模块对邻域特征进行去中心化和标准化处理,以克服点云局部区域的几何结构稀疏与不规则;最后,通过构建局部邻域图,设计非对称边缘特征学习函数,结合全局特征和局部差异,显式建模点云的局部拓扑结构和全局关系,充分提取边缘特征;

步骤三,基于残差网络的局部邻域图特征提取与基于分组向量注意力的上下文特征融合,在局部邻域图的基础上,首先通过共享权重的多层残差网络提取边特征,并在最大池化操作聚合边特征之后,与中心点特征拼接形成局部邻域图特征;随后,利用具有残差连接的Transformer结构,通过分组向量注意力GAV机制动态分配特征通道的注意力权重,灵活捕捉关键边特征,同时引入相对位置编码学习邻域点集的绝对位置关系;

步骤四,分层上采样特征解码,包括反距离加权平均插值与特征传播,完成分割输出与反向传播;降采样、分组、仿射变换、局部特征提取和上下文特征融合模块共同构成为一层特征抽象层,经过四层递归的特征抽象之后得到了低分辨率的全局点云特征向量,其含有丰富的上下文语义信息;由于点云分割属于密集型的分类任务,需要对点的特征信息进行逐点分类,因此采用将特征编码器与解码器耦合的结构,特征解码器包括四层特征传播模块,通过插值方式,将包含高维语义特征的稀疏点集特征跨层级拼接至其上一层点集。

2.如权利要求1所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤一的过程为:步骤1.1:使用点云处理库PCL对点云进行法向量计算,引入额外的特征维度以增强原始点云数据的表达能力,利用法向量信息提供更精细的局部几何特征;

步骤 1.2:统计原始点云数据中每个类别的点数,得到频率分布向量 ,并根据其计算权重分布向量,如下式所示:(1);

其中, 为语义类别总数,即数据集中不同类别的数量, 为点云中属于第 个类别的点数;

通过最大权重比和立方根平滑来缩放每个类别的权重,公式如下:(2);

其中, 为第 个类别缩放后的权重, 为权重分布向量;

步骤1.3:由于不同的点云点数分布差距较大,训练过程中需要根据点数分布来选择一部分点输入到网络中,因此为第 个点云分配采样概率 :(3);

其中, 是第 个点云的点数, 为总点云个数,根据采样概率得到第 个点云的采样次数 为:(4);

其中,为采样率, 为单次采样点数,均由超参数设定;

步骤1.4:随机选取一点作为当前点云的中心点 ,构建长和宽均为block_size的立方体采样块,并在该区域内完成采样:(5);

其中,为一个立方体采样块的尺寸block_size, 为第 个点 的横纵坐标,当块内点数不足时,通过带放回的随机采样补齐至单次采样点数 ;

在实际训练过程中,点云数据被划分为若干个批次batch逐个输入到神经网络,以增加优化效率;一个batch由batch_size个采样块组成,每个采样块包含固定数量的点num_point,其数值上等于 ,batch_size和num_point是根据显存容量设置的超参数,以在保证训练稳定性的同时最大化显存的利用率;

步骤1.5:对采样后的点云进行坐标归一化和去中心化操作,同时对RGB值也进行归一化,最终构造特征向量维度为12的点云 ,每个点 的特征向量如下:

(6);

其中 为去中心化坐标, 为归一化坐标, 为归一化RGB值, 为法向量。

3.如权利要求1或2所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤二的过程为:步骤2.1:降采样用于从较为密集的点集中选取一些具有代表性的点作为采样点,在保证点云的拓扑结构不变的前提条件下,用更少的数据点来表示点云;

步骤2.2:为了提取局部特征,需要在点云中为每个采样点划定邻域范围,给定点云 内的一个样本集合 ,其降采样得到的子集为 ,以每个采样点为“质心”,使用 近邻算法去搜索离质心距离最近的 个点集构成分组点集;

步骤2.3:引入几何仿射模块对局部特征进行去中心化和标准化处理,设为包含 个近邻点的局部邻域特征,使用如下公式对局部邻域的近邻点特征进行仿射变换:

(9);

其中, 和 为可学习参数, 表示逐元素乘法, 为归一化操作中的一个数值稳定性的参数, 是一个标量,描述了所有局部区域近邻点和通道之间的特征偏差,如下所示:(10);

步骤2.4:对于一个点云局部邻域,其本质仍为一个点与点之间孤立的无序点集,缺少显式的局部拓扑结构和全局关系,因此通过构建图结构来对局部邻域进行建模,考虑一个点云局部区域 ,其对应的有向图表示为 ,其中 表示将 个局部近邻点视为顶点、 为边,则此局部邻域图可以表示为 ,该图包含自循环,即每个节点也指向自己,定义边特征为 ,其中 为一组可学习参数

的非线性函数,将 定义为下式:

(11);

这种非对称的边缘特征学习函数结合了中心点 捕获的全局特征和相对特征差值捕获的局部邻域信息。

4.如权利要求3所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤2.1中,最远点采样FPS的流程如下:

2.1.1)给定点云 内的一个样本点集合 ,初始化候选最远点集合 ,其中 为随机选取,并将其从原始点集合 中移除;

2.1.2)选取下一个点为最远点 ,需满足如下约束:(7);

该约束含义为:以 中距离 最近的点为基准,计算两集合中点的欧式距离,并选取中距离 最大的一点作为最远点,并将此点加入 ,同时在 中删除此点,其中为最远点 与点集 的欧几里得距离, 为 中点 与 中点 间的欧几里得距离,表达式如下:(8);

其中, 为集合 中点 的坐标向量, 为集合

中点 的坐标向量, 表示2范数;

2.1.3)重复以上步骤2.1.1)2.1.2),更新最远点集 ,直到 点数达到降采样点数~。

5.如权利要求3所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤三中,特征提取与融合模块的核心操作抽象地表示为:(12);

其中, 为局部特征提取函数, 为聚合函数, 为上下文特征融合函数,过程如下:

步骤3.1:针对局部邻域图结构,使用函数 提取边特征, 为步骤2.4中抽象函数 的具体实现,该抽象函数由三层共享权重的残差块ResP Block堆叠组成,残差块为两个同质的残差MLP模块,表示为 ,每个MLP模块由全连接层、批归一化层和激活函数组成,如下式所示:(13);

其中, 为全连接层FC中的可学习权重参数, 为批归一化操作, 为深度学习中常见的非线性激活函数;

步骤3.2:由于点云数据具有无序性,需要处理点云数据的网络具有置换不变性,即对输入点的排列顺序不敏感,因此,在边特征的聚合过程中,聚合函数 采用最大池化操作max pooling,表达式为:(14);

将聚合后的边特征 与中心点特征 拼接,得到局部邻域图特征 ;

步骤3.3:将邻域图特征 通过 函数处理,融合局部和全局上下文信息,得到上下文特征 , 是一个具有残差连接的Transformer结构,在第一个MLP之后加入了Point Transformer层,利用向量自注意力机制灵活地为每个通道的边缘特征都分配注意力权重,让中心点动态捕捉邻域图中较为关键的边特征;

使用分组向量注意力算子GAV,首先采用线性投影或MLP将中点特征 和边特征 投影到 、 和 分别作为查询Query、键Key和值Value,将值向量 的通道平均分成 组, ,将查询与键作差产生可以调制单个特征通道的向量,并加入额外的相对位置编码 再次学习局部点集的绝对位置关系,注意力权重编码公式如下:(15);

其中, 是一个可学习的权重编码函数, 表示逐元素乘法, 和是中心点 和近邻点 的坐标, 是乘法和偏移位置编码函数MLP,是查询向量, 是键向量;

函数由分组线性层 、批归一化层、激活层和全连接层组成,允许不同组间的信息交换,其中分组线性层 使得输入向量 的不同组独立地使用不同的参数投影,如下式所示:

(16);

(17);

其中 为每个分组的特征通道数, 是可学习参数,输入向量 , 为批归一化层, 为激活函数;

步骤3.4:分组向量注意力聚合,注意力权重编码的输出是 通道而不是 通道的分组注意力向量,同一注意力组内的 的通道共享来自分组注意力向量的相同标量注意力权重,分组向量聚合公式如下:(18)

其中, 是输出特征向量,是当前分组编号, 为可学习参数  的通道编号。

6.如权利要求1或2所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤四的过程为:步骤4.1:在每一层特征传播模块中采用反距离加权平均公式IDW将全局特征跨层拼接到上一层点集,反距离权重法依赖于反距离的幂值,距离未知点越近的已知点对插值结果的影响越大;

步骤4.2:利用单位特征传递网络更新每个点的特征向量,该网络由共享权重的全连接层、批归一化层和ReLU层组成,重复插值与传递的过程,直到将特征传播到原始分辨率的点集,最后通过丢弃率为0.5的Dropout层降低网络复杂度,再通过MLP将特征维度变换为 ,经过softmax输出的分割分数矩阵如下:(21);

其中, 是一个维度为 的矩阵,其中的元素 表示第 个点属于第 个语义类别的预测概率;

步骤4.3:点云分割网络的反向传播使用交叉熵损失函数,其计算公式如下:(22);

其中, 为点云点数, 为语义类别数量, 为第 个点的真实标签, 为第 个点属于第 个语义类别的预测概率。

7.如权利要求6所述的基于图卷积与分组向量注意力机制的三维点云语义分割方法,其特征在于,所述步骤4.1的流程如下:

4.1.1) 设已知点集为 ,其中 为第 层级的点数,每个点都包括空间坐标 和特征向量 ,目标是将 特征传播到所在层级, < ;

4.1.2) 计算 层级点集 与 点集中每个点 的欧式距离 ;

4.1.3) 对于每个 层级的点 ,为其分配权重 为:(19);

其中, 为幂次参数,控制距离对权重的影响,设置为2, 为避免分母为0的参数;

4.1.4) 选取离 点最近的 个 点,将 的归一化权重与特征 加权得到第 个点的特征 :(20);

其中,为近邻点数量,设置为3。