利索能及
我要发布
收藏
专利号: 2023107790433
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,具体按照如下步骤实施:步骤1,构建LPR‑AFFN网络;

步骤2,构建局部极坐标表示模块LPR并进行LPR操作;

步骤3,进行坐标转换,计算邻域质心点矩阵、更新极角;

步骤3的具体过程如下:

步骤3.1、对于任意一点 ,其坐标值为( ,  , ),利用K邻近算法采集它的k个邻近点 ,其坐标值为( ,   , ),点 和 的相对坐标表示为 ,其中,任意一邻近点 到点 的距离记为, 表示点 和点 对应射线和参考方向的夹角,表示任意一点的复数形式在极坐标系中的幅角,则邻近点的极坐标表示为 ;

(12)

(13)

(14)

步骤3.2、对于任意一点 ,通过 的k个邻近点,对特征矩阵 进行张量求和操作和平方根操作,得到邻域质心点特征矩阵 ;

=  (15)

步骤3.3、坐标转换特征矩阵 和邻域质心点特征矩阵 ,进行两次矩阵减法操作后拼接特征矩阵,更新极角 和 ,根据Z‑轴旋转不变性可知, 和 不会发生改变;

=   ‑ (16)

(17)

(18)

步骤3.4、对两次拼接后产生的新的特征矩阵 ,进行张量均值操作得到新的特征矩阵;

(19)

步骤3.5、新的特征矩阵 经降维后得到特征矩阵 ;

步骤3.6、将原始点云 、极坐标转换信息和几何距离信息进行拼接,输出大小为的特征矩阵 ;

(20);

步骤4,构建特征表示模块GPM,并定义局部质心点,寻找质心点的邻近点以构建局部分组;

步骤4中,特征表示模块GPM由卷积层、ReLu激活函数、多层感知机MLP、更新组合局部特征gate操作组成;

具体过程如下:

步骤4.1,根据最远采样点算法从输入的点云中选取一个点A作为查询点,从剩余点云中选择一个最远的点B,此时查询点为(A,B),再从余下点云中需选取最远距离点C,选取点A到点C距离和点B到点C的距离中的最小值作为到查询点的距离d,将采样后的点云分为N个查询点云集合,从查询点云集合中任意选择一组点,在查询点集合中定义一个局部质心点,采用K最邻近算法寻找质心点的邻近点以构造局部分组;

步骤4.2,对步骤4.1分组后的的点云经过 操作投影后,得到特征矩阵;

(21)

步骤4.3,对特征矩阵 进行矩阵变维和一维卷积操作得到特征矩阵 ;

(22)

步骤4.4,对特征矩阵 分别进行两次一维卷积操作得到同型特征矩阵 和 ;

(23)

(24)

步骤4.5,对特征矩阵 进行转置操作,得到特征矩阵 ;

(25)

步骤4.6,对特征矩阵 和 做矩阵加法,得到特征矩阵 ;

(26)

步骤4.7,特征矩阵 经ReLu函数和Softmax操作后,得到特征矩阵 ;

(27)

步骤4.8,特征矩阵 和 做矩阵乘法,得到特征矩阵 ;

(28)

步骤4.9,特征矩阵 经过激活函数和更新组合局部特征gate操作后,得到特征矩阵;

(29)

步骤4.10,特征矩阵 经过矩阵变维和更新组合局部特征gate操作后,得到特征矩阵 ;

(30)

步骤4.11,特征矩阵 经过激活函数、矩阵变维操作后和特征矩阵 进行矩阵乘法操作,得到特征矩阵 ;

(31)

步骤4.12,对特征矩阵 和 分别进行矩阵变维操作后做矩阵乘法,得到新的特征矩阵 ;

(32)

步骤4.13,对特征矩阵 和 进行矩阵拼接,得到大小为 的特征矩阵 ;

(33);

步骤5,对输入的点云初步进行特征提取;

步骤6,构建特征提取模块PCFE并进行PCFE操作;

步骤7,构建自适应特征融合模块AFF,利用AFF构建点云的全局感知能力;

步骤7中,自适应特征融合模块AFF由卷积层、Softmax、矩阵点乘、矩阵相加操作组成;

具体过程如下:

步骤7.1,在语义分割任务中,自适应特征融合模块AFF首先对特征提取模块PCFE输入的大小为 的语义特征矩阵 扩充维度,然后进行二维卷积操作输出特征矩阵;

(40)

步骤7.2,对 进行归一化Softmax操作输出的特征矩阵 ;

(41)

步骤7.3,特征矩阵 与 做矩阵点乘运算,并输出特征矩阵 ;

(42)

步骤7.4,特征矩阵 降维后生成的大小为 的语义特征矩阵 ,语义特征矩阵 再经过全连接层中的一维卷积操作输出大小为 的语义预测 ,用于预测最终的语义类别,其中 是语义预测的类别个数,(43)

步骤7.5,对于实例分割任务,对同样大小为 的实例特征矩阵 扩充维度,扩维后经二维卷积操作生成特征矩阵 ;

(44)

步骤7.6,对特征矩阵 进行归一化Softmax操作生成特征矩阵 ;

(45)

步骤7.7,特征矩阵 与 做矩阵点乘运算,并输出特征矩阵 ;

(46)

步骤7.8,对实例特征矩阵 和语义特征矩阵 做矩阵加法,输出特征矩阵 ;

(47)

步骤7.9,特征矩阵 经降维操作后生成大小为 的实例特征矩阵 ,实例特征矩阵 再经过全连接层进行一维卷积操作后输出大小为 的实例嵌入,其中 是实例特征嵌入的维度;

(48)。

2.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤1中,LPR‑AFFN网络由编码层和解码层以及跳跃连接组成;编码阶段由一个共享的编码器组成,一个共享的编码器包括四层编码,每层输出特征矩阵大小分别为、 、 、 512;解码阶段由两个并行的解码器组成,两个并行的解码器均包括四层解码,每一层输出的特征矩阵大小分别为 、 、、 ;

其中 、 、 、 、 分别为每层的采样点数;

编码层和解码层均使用与PointNet++相同的结构。

3.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤2中,局部极坐标表示模块LPR由K最邻近算法、张量最大值、邻域点、矩阵减法、张量平铺、矩阵拼接、张量均值、降维操作组成;

具体过程如下:

步骤2.1,对原始点云 采用K最邻近算法采集k个邻近点,k设置为20,得到邻近点特征矩阵 ;

(1)

步骤2.2、邻近点特征矩阵 进行邻域点操作得到特征矩阵 ;

(2)

步骤2.3、特征矩阵 进行张量最大值操作,得到特征矩阵 ;

(3)

步骤2.4,原始点云 和特征矩阵 ,进行矩阵减法操作、张量求和操作和平方根操作,得到特征矩阵 ;

=  (4)

步骤2.5,原始点云 进行一维张量平铺操作,得到特征矩阵 ;

(5)

步骤2.6,对特征矩阵 和特征矩阵 ,进行矩阵拼接操作,得到特征矩阵 ;

(6)

步骤2.7,对特征矩阵 和特征矩阵 ,进行矩阵拼接操作,得到特征矩阵 ;

(7)

步骤2.8,对特征矩阵 ,进行两次张量最大值操作,得到特征矩阵 ;

(8)

步骤2.9,对特征矩阵 ,进行幂指数操作,得到特征矩阵 ;

(9)

步骤2.10,邻近点特征矩阵 和原始点云做矩阵减法,得到矩阵特征 ;

=   ‑ (10)

步骤2.11,特征矩阵 进行一维张量平铺操作,得到特征矩阵 ;

(11)。

4.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤5的具体过程如下:步骤5.1,编码层的后三层采用的编码方式与PointNet++相同,每个编码层均会完成一次对输入特征的提取,则四个编码层提取的局部特征输出维度分别是 ;

步骤5.2,解码层采用的是和pointNet++相同的解码方式,均是对编码层的特征进行上采样,更新从插值操作和跳跃连接合并后的特征,尽可能地保存编码层生成的特征信息,编码层与解码层相互对应,经上采样后更新合并的特征输出维度分别是,即得到 128的特征矩阵。

5.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤6中,特征提取模块PCFE由卷积层、上采样操作、矩阵拼接操作组成;

具体过程如下:

步骤6.1,将步骤5.2得到的两个 128的特征矩阵,分别用 和 来表示,以语义分割为例,首先对 进行上采样得到新的特征矩阵 ;

(34)

步骤6.2,将 和 连接起来得到大小为 的特征矩阵 ;

(35)

步骤6.3,对特征矩阵 进行一维卷积操作,输出大小为 的特征矩阵 ;

(36)

步骤6.4,整个解码器存在两个并行分支,同理,对于实例分割任务,用 和 来表示

128的特征矩阵;

步骤6.5, 进行上采样得到新的特征矩阵 ;

(37)

步骤6.6,将 和 连接起来得到大小为 的特征矩阵 ;

(38)

步骤6.7,对特征矩阵 进行一维卷积操作,输出大小为 的特征矩阵 ;

(39)。