利索能及
我要发布
收藏
专利号: 2020101085271
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-23
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标对象的检测方法,其特征在于,包括:对目标场景的三维点云进行特征提取,得到特征提取结果;

根据所述特征提取结果,对所述三维点云进行目标对象的类别预测以及位置预测,确定所述目标场景中的目标对象的至少一个候选区域;

确定每个所述候选区域包括的三维点构成的三维子点云;

获取每个所述三维子点云包括的每个三维点的坐标,作为所述三维子点云的空间坐标;

获取每个所述三维子点云包括的每个三维点的特征向量,作为所述三维子点云的特征向量;

根据每个所述三维子点云的空间坐标和每个所述三维子点云的特征向量,得到每个所述三维子点云的特征矩阵;

在每个所述候选区域中,对所述目标对象进行检测,得到检测结果;

其中,所述在每个所述候选区域中,对所述目标对象进行检测,得到检测结果,包括:对第一候选区域包括的三维子点云进行采样,得到所述第一候选区域包括的至少一个第二采样点,其中,所述第一候选区域为所述至少一个候选区域中的任一个候选区域;

根据所述第一候选区域包括的三维子点云的特征矩阵,获取所述第一候选区域包括的第二采样点的注意力特征向量;

通过融合卷积网络,将所述第一候选区域包括的第二采样点的注意力特征向量进行融合,得到所述第一候选区域的特征融合结果;

将所述第一候选区域的特征融合结果作为所述第一候选区域的检测结果;

所述根据所述第一候选区域包括的三维子点云的特征矩阵,获取所述第一候选区域包括的第二采样点的注意力特征向量,包括:根据所述第一候选区域包括的三维子点云的特征矩阵,对所述第二采样点进行特征提取,得到每个所述第二采样点的初始特征向量;

将每个所述第二采样点的初始特征向量进行平均池化,得到所述第一候选区域的全局特征向量;

分别将每个所述第二采样点的初始特征向量与所述全局特征向量进行拼接,得到每个所述第二采样点的扩展特征向量;

根据每个所述第二采样点的扩展特征向量,得到每个所述第二采样点的注意力系数;

分别将每个所述第二采样点的注意力系数与所述第二采样点的初始特征向量进行相乘,得到每个所述第二采样点的注意力特征向量。

2.根据权利要求1所述的方法,其特征在于,所述对目标场景的三维点云进行特征提取,得到特征提取结果,包括:对所述三维点云进行采样,得到至少一个第一采样点;

在所述三维点云中构建至少一个以所述第一采样点为中心的采样区域;

对每个所述采样区域进行特征提取,得到至少一个所述采样区域的特征向量;

根据每个所述采样区域的特征向量,分别确定所述三维点云包括的每个三维点的特征向量,作为所述特征提取结果。

3.根据权利要求1或2所述的方法,其特征在于,所述根据所述特征提取结果,对所述三维点云进行目标对象的类别预测以及位置预测,确定所述目标场景中的目标对象的至少一个候选区域,包括:根据所述特征提取结果,对所述三维点云进行目标对象的类别预测,得到类别预测结果,其中,所述类别预测结果用于指示所述三维点云包括的三维点所属的目标对象的类别;

根据所述特征提取结果,对所述三维点云进行目标对象的位置预测,得到位置预测结果,其中,所述位置预测结果用于指示所述三维点云中目标对象所在的三维点的位置;

根据所述类别预测结果和所述位置预测结果,确定所述场景中包括所述目标对象的至少一个候选区域。

4.根据权利要求3所述的方法,其特征在于,所述根据所述特征提取结果,对所述三维点云进行类别预测,得到类别预测结果,包括:将所述特征提取结果通过类别预测卷积网络进行处理,得到所述三维点云包括的每个三维点所属的目标对象的类别。

5.根据权利要求3所述的方法,其特征在于,所述根据所述特征提取结果,对所述三维点云进行位置预测,得到位置预测结果,包括:将所述特征提取结果通过位置预测卷积网络进行处理,得到所述三维点云包括的每个三维点与每个预设检测框之间的残差量,其中,所述预设检测框的数量不少于一个;

根据所述残差量,得到每个所述三维点匹配的检测框,作为所述位置预测结果。

6.根据权利要求5中所述的方法,其特征在于,所述位置预测卷积网络通过训练数据训练,所述训练数据包括三维点云样本、目标对象在所述三维点云样本中的第一位置以及与所述目标对象的类别对应的至少一个第一特征向量,所述训练包括:基于所述三维点云样本和初始位置预测卷积网络,得到第一位置预测结果;

根据所述第一位置预测结果与所述第一位置之间的误差,得到第一误差损失;

根据所述三维点云样本包括的每个三维点的特征向量,与每个所述第一特征向量之间的距离,得到第二误差损失;

根据所述第一误差损失和/或第二误差损失,对所述初始位置预测卷积网络进行训练。

7.根据权利要求3所述的方法,其特征在于,所述根据所述类别预测结果和所述位置预测结果,确定所述场景中包括所述目标对象的至少一个候选区域,包括:获取所述位置预测结果包括的每个检测框;

根据每个所述检测框包括的三维点的类别预测结果,得到每个所述检测框的预测分数;

将所述预测分数大于分数阈值的检测框,作为所述目标对象的至少一个候选区域。

8.一种目标对象的检测装置,其特征在于,包括:特征提取模块,用于对目标场景的三维点云进行特征提取,得到特征提取结果;

候选区域确定模块,用于根据所述特征提取结果,对所述三维点云进行目标对象的类别预测以及位置预测,确定所述目标场景中的目标对象的至少一个候选区域;

所述候选区域确定模块还用于:

确定每个所述候选区域包括的三维点构成的三维子点云;

获取每个所述三维子点云包括的每个三维点的坐标,作为所述三维子点云的空间坐标;

获取每个所述三维子点云包括的每个三维点的特征向量,作为所述三维子点云的特征向量;

根据每个所述三维子点云的空间坐标和每个所述三维子点云的特征向量,得到每个所述三维子点云的特征矩阵;

检测模块,用于在每个所述候选区域中,对所述目标对象进行检测,得到检测结果;

所述检测模块用于:

对第一候选区域包括的三维子点云进行采样,得到所述第一候选区域包括的至少一个第二采样点,其中,所述第一候选区域为所述至少一个候选区域中的任一个候选区域;

根据所述第一候选区域包括的三维子点云的特征矩阵,获取所述第一候选区域包括的第二采样点的注意力特征向量;

通过融合卷积网络,将所述第一候选区域包括的第二采样点的注意力特征向量进行融合,得到所述第一候选区域的特征融合结果;

将所述第一候选区域的特征融合结果作为所述第一候选区域的检测结果;

所述检测模块进一步用于:

根据所述第一候选区域包括的三维子点云的特征矩阵,对所述第二采样点进行特征提取,得到每个所述第二采样点的初始特征向量;

将每个所述第二采样点的初始特征向量进行平均池化,得到所述第一候选区域的全局特征向量;

分别将每个所述第二采样点的初始特征向量与所述全局特征向量进行拼接,得到每个所述第二采样点的扩展特征向量;

根据每个所述第二采样点的扩展特征向量,得到每个所述第二采样点的注意力系数;

分别将每个所述第二采样点的注意力系数与所述第二采样点的初始特征向量进行相乘,得到每个所述第二采样点的注意力特征向量。

9.根据权利要求8所述的装置,其特征在于,所述特征提取模块用于:对所述三维点云进行采样,得到至少一个第一采样点;

在所述三维点云中构建至少一个以所述第一采样点为中心的采样区域;

对每个所述采样区域进行特征提取,得到至少一个所述采样区域的特征向量;

根据每个所述采样区域的特征向量,分别确定所述三维点云包括的每个三维点的特征向量,作为所述特征提取结果。

10.根据权利要求8或9所述的装置,其特征在于,所述候选区域确定模块用于:根据所述特征提取结果,对所述三维点云进行目标对象的类别预测,得到类别预测结果,其中,所述类别预测结果用于指示所述三维点云包括的三维点所属的目标对象的类别;

根据所述特征提取结果,对所述三维点云进行目标对象的位置预测,得到位置预测结果,其中,所述位置预测结果用于指示所述三维点云中目标对象所在的三维点的位置;

根据所述类别预测结果和所述位置预测结果,确定所述场景中包括所述目标对象的至少一个候选区域。

11.根据权利要求10所述的装置,其特征在于,所述候选区域确定模块进一步用于:将所述特征提取结果通过位置预测卷积网络进行处理,得到所述三维点云包括的每个三维点与每个预设检测框之间的残差量,其中,所述预设检测框的数量不少于一个;

根据所述残差量,得到每个所述三维点匹配的检测框,作为所述位置预测结果。

12.根据权利要求11中所述的装置,其特征在于,所述位置预测卷积网络通过训练数据训练,所述训练数据包括三维点云样本、目标对象在所述三维点云样本中的第一位置以及与所述目标对象的类别对应的至少一个第一特征向量,所述训练包括:基于所述三维点云样本和初始位置预测卷积网络,得到第一位置预测结果;

根据所述第一位置预测结果与所述第一位置之间的误差,得到第一误差损失;

根据所述三维点云样本包括的每个三维点的特征向量,与每个所述第一特征向量之间的距离,得到第二误差损失;

根据所述第一误差损失和/或第二误差损失,对所述初始位置预测卷积网络进行训练。

13.根据权利要求10所述的装置,其特征在于,所述候选区域确定模块进一步用于:获取所述位置预测结果包括的每个检测框;

根据每个所述检测框包括的三维点的类别预测结果,得到每个所述检测框的预测分数;

将所述预测分数大于分数阈值的检测框,作为所述目标对象的至少一个候选区域。

14.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。

15.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。