1.一种基于全融合网络的三维点云语义分割方法,其特征在于,包括以下步骤:对点云进行层级下采样,提取高层语义特征和多尺度特征;
对高层语义特征逐层进行特征解码,得到渐进式解码特征图;对多尺度特征分别进行特征解码,得到多层次解码特征图;
将渐进式解码特征图与多层次解码特征图融合,得到的特征用于预测每个点的类别标签;根据预测的标签,更新网络参数;
对点云进行层级下采样,提取高层语义特征和多尺度特征,包括以下步骤:采用最远点采样算法在输入的点云中选取质心点云,采用K近邻算法提取质心点云周围的相邻点进行局部区域构建;
对所有构建的局部区域进行密度加权卷积,完成对点云的一次下采样;对下采样的结果继续进行密度加权卷积,共计完成4次下采样,4次下采样的结果依次记为L1、L2、L3、L4,L1、L2、L3、L4为多尺度特征,L4为高层语义特征;
所述进行密度加权卷积,包括以下步骤:
输入局部区域和K个相邻点云,K为点云的数量,将这K个点云减去局部区域质心的坐标,得到三维点云的局部区域相对坐标;
通过核密度估计算法得到点云局部区域密度,将该密度输入多层感知器,得到逆密度函数,对逆密度函数进行张量复制扩展,得到大小为 的逆密度张量S, 是输入层特征维度的索引;
将逆密度张量S和局部区域特征Fin进行矩阵间相乘,输出 ,R表示实数;
将局部区域K个点云的相对坐标输入多层感知器,得到权重函数,将权重函数、进行卷积运算,得到输出特征;
对高层语义特征逐层进行特征解码,得到渐进式解码特征图,包括以下步骤:通过反卷积上采样与跨层跳跃联结,对L4、L3进行特征解码,得到L33;对L33、L2进行特征解码,得到L22;对L22、L1进行特征解码,得到L11;对L11、L0进行特征解码,得到L00,L00为渐进式解码特征图;
所述进行特征解码,包括以下步骤:
输入底层及其上一层的质心点云坐标,采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云,得到点云坐标和每个区域点的索引;根据权重公式和点云坐标,得到权重;
采用反距离加权插值法,将底层的特征、得到的权重和每个区域内点的索引相结合,得到底层特征的反卷积上采样结果,采用密度加权模块提取该反卷积上采样结果的特征,采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加,采用多层感知器处理串联叠加后的特征,完成一次特征解码。
2.如权利要求1所述的方法,其特征在于:
对多尺度特征分别进行特征解码,得到多层次解码特征图,包括以下步骤:通过反卷积上采样与跨层跳跃联结,对L1、L0进行特征解码,对L2、L0进行特征解码,对L3、L0进行特征解码,对L4、L0进行特征解码,各获得一层解码特征图;
将四层解码特征图叠加,获得多层次解码特征图。
3.如权利要求1所述的方法,其特征在于:
将渐进式解码特征图与多层次解码特征图融合,包括以下步骤:将渐进式解码特征图与多层次解码特征图串联叠加,实现特征全融合。
4.一种基于全融合网络的三维点云语义分割系统,其特征在于,包括:下采样单元,用于:对点云进行层级下采样,提取高层语义特征和多尺度特征;
特征解码器,用于:对高层语义特征逐层进行特征解码,得到渐进式解码特征图;对多尺度特征分别进行特征解码,得到多层次解码特征图;
融合模块,用于:将渐进式解码特征图与多层次解码特征图融合,得到的特征用于预测每个点的类别标签;
更新模块,用于:根据预测的标签,更新网络参数;
所述下采样单元包括:
区域构建模块,用于:采用最远点采样算法在输入的点云中选取质心点云,采用K近邻算法提取质心点云周围的相邻点进行局部区域构建;
多个密度加权模块,用于:对所有构建的局部区域进行密度加权卷积,完成对点云的一次下采样;对下采样的结果继续进行密度加权卷积,共计完成4次下采样,4次下采样的结果依次记为L1、L2、L3、L4,L1、L2、L3、L4为多尺度特征,L4为高层语义特征;
所述进行密度加权卷积,包括以下步骤:
输入局部区域和K个相邻点云,K为点云的数量,将这K个点云减去局部区域质心的坐标,得到三维点云的局部区域相对坐标;
通过核密度估计算法得到点云局部区域密度,将该密度输入多层感知器,得到逆密度函数,对逆密度函数进行张量复制扩展,得到大小为 的逆密度张量S, 是输入层特征维度的索引;
将逆密度张量S和局部区域特征Fin进行矩阵间相乘,输出 ,R表示实数;
将局部区域K个点云的相对坐标输入多层感知器,得到权重函数,将权重函数、进行卷积运算,得到输出特征;
所述特征解码器对高层语义特征逐层进行特征解码,得到渐进式解码特征图,包括以下步骤:通过反卷积上采样与跨层跳跃联结,对L4、L3进行特征解码,得到L33;对L33、L2进行特征解码,得到L22;对L22、L1进行特征解码,得到L11;对L11、L0进行特征解码,得到L00,L00为渐进式解码特征图;
所述特征解码器进行特征解码,包括以下步骤:
输入底层及其上一层的质心点云坐标,采用K近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云,得到点云坐标和每个区域点的索引;根据权重公式和点云坐标,得到权重;
采用反距离加权插值法,将底层的特征、得到的权重和每个区域内点的索引相结合,得到底层特征的反卷积上采样结果,指示密度加权模块提取该反卷积上采样结果的特征,采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加,采用多层感知器处理串联叠加后的特征,完成一次特征解码。
5.如权利要求4所述的系统,其特征在于:
所述特征解码器对多尺度特征分别进行特征解码,得到多层次解码特征图,包括以下步骤:通过反卷积上采样与跨层跳跃联结,对L1、L0进行特征解码,对L2、L0进行特征解码,对L3、L0进行特征解码,对L4、L0进行特征解码,各获得一层解码特征图;
将四层解码特征图叠加,获得多层次解码特征图。
6.如权利要求4所述的系统,其特征在于:
所述融合模块将渐进式解码特征图与多层次解码特征图融合,包括以下步骤:将渐进式解码特征图与多层次解码特征图串联叠加,实现特征全融合。