利索能及
我要发布
收藏
专利号: 2021109295126
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种三维点检测的方法,其特征在于,所述方法包括:获取多个视角下对多个目标对象进行拍摄得到的目标图像,以及基于获取的所述目标图像确定的所述多个目标对象中每个目标对象的候选三维点的三维坐标信息;

针对所述每个目标对象,执行如下步骤:基于所述目标对象的候选三维点的三维坐标信息,确定所述目标对象对应的候选三维空间;

基于所述目标对象对应的候选三维空间、以及所述目标图像,确定所述目标对象的目标三维点的三维坐标信息。

2.根据权利要求1所述的方法,其特征在于,所述三维点包括三维中心点;所述候选三维点包括候选三维中心点,且所述目标对象的所述候选三维中心点位于所述目标对象的中心位置;所述目标三维点包括目标三维中心点。

3.根据权利要求1或2所述的方法,其特征在于,所述基于所述目标对象对应的候选三维空间、以及所述目标图像,确定所述目标对象的目标三维点的三维坐标信息,包括:将所述目标对象的候选三维空间进行空间采样,确定多个采样点;

针对所述多个采样点中的每个采样点,基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像,确定所述采样点对应的三维点检测结果;

基于得到的所述三维点检测结果,确定所述目标对象的目标三维点的三维坐标信息。

4.根据权利要求3所述的方法,其特征在于,所述基于所述采样点在所述候选三维空间内的三维坐标信息、以及所述目标图像,确定所述采样点对应的三维点检测结果,包括:针对所述多个采样点中的每个采样点,基于所述候选三维空间所在三维坐标系与各个视角所在二维坐标系之间的对应关系,将所述三维坐标信息投影至不同视角下,确定所述采样点分别在多个所述目标图像中的二维投影点信息;

基于所述采样点分别在多个所述目标图像中的二维投影点信息,确定所述采样点在不同视角下的采样点特征信息;

基于所述采样点在不同视角下的采样点特征信息,确定所述采样点对应的三维点检测结果。

5.根据权利要求4所述的方法,其特征在于,所述二维投影点信息包括二维投影点的图像位置信息;所述基于所述采样点分别在多个所述目标图像中的二维投影点信息,确定所述采样点在不同视角下的采样点特征信息,包括:提取多个所述目标图像分别对应的图像特征;

针对多个所述目标图像中的每个所述目标图像,基于所述采样点在多个所述目标图像中的二维投影点的图像位置信息,从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征;

将提取的与所述图像位置信息对应的图像特征,确定所述采样点在不同视角下的采样点特征信息。

6.根据权利要求4或5所述的方法,其特征在于,所述基于所述采样点在不同视角下的采样点特征信息,确定所述采样点对应的三维点检测结果,包括:基于所述采样点在不同视角下的采样点特征信息,以及与所述采样点关联的其他采样点的采样点特征信息,确定所述采样点在不同视角下的更新采样点特征信息;

基于所述采样点对应的更新采样点特征信息,确定所述采样点对应的三维点检测结果。

7.根据权利要求1‑6任一所述的方法,其特征在于,按照如下步骤确定每个目标对象的候选三维点的三维坐标信息:

从多个所述目标图像中分别提取多个二维点的图像特征信息,其中,每个二维点是位于对应的目标对象中的像素点;

基于从多个所述目标图像中分别提取的图像特征信息,确定属于同一目标对象的成对的二维点,其中,所述成对的二维点来自不同的目标图像;

根据确定的所述成对的二维点在各自目标图像中的二维坐标信息,确定所述同一目标对象的候选三维点的三维坐标信息。

8.根据权利要求7所述的方法,其特征在于,所述基于从多个所述目标图像中分别提取的图像特征信息,确定属于同一目标对象的成对的二维点,包括:将所述目标图像进行两两组合,得到至少一组目标图像;

基于多个所述目标图像中的二维点的图像特征信息,确定每组所述目标图像中是否存在图像特征匹配的两个二维点;所述两个二维点分别属于同一组目标图像中的不同目标图像;

若存在,则将图像特征匹配的两个二维点确定为所述属于同一目标对象的成对的二维点。

9.根据权利要求8所述的方法,其特征在于,所述基于多个所述目标图像中的二维点的图像特征信息,确定每组所述目标图像中是否存在图像特征匹配的两个二维点,包括:针对每组目标图像,将该组目标图像的两个目标图像中的二维点两两组合,得到多组二维点;基于每组二维点包括的两个二维点的图像特征信息,确定该组目标图像中是否存在图像特征匹配的两个二维点。

10.根据权利要求9所述的方法,其特征在于,所述基于每组二维点包括的两个二维点的图像特征信息,确定该组目标图像中是否存在图像特征匹配的两个二维点,包括:针对每组二维点,将该组二维点的两个二维点的图像特征信息输入到特征匹配网络中,确定所述两个二维点的图像特征信息是否匹配;

若是,则将图像特征匹配的两个二维点确定为该组目标图像中存在图像特征匹配的两个二维点。

11.根据权利要求10所述的方法,其特征在于,所述将该组二维点的两个二维点的图像特征信息输入到特征匹配网络中,确定所述两个二维点的图像特征信息是否匹配,包括:针对该组二维点中的每个二维点,基于该二维点的图像特征信息,以及与该二维点所在目标图像不同的其它目标图像中其它二维点的图像特征信息,对该二维点的图像特征信息进行更新,得到更新后的图像特征信息;

将所述两个二维点分别对应的更新后的图像特征信息输入到特征匹配网络中,确定所述两个二维点的图像特征信息是否匹配。

12.根据权利要求7所述的方法,其特征在于,所述基于从多个所述目标图像中分别提取的图像特征信息,确定属于同一目标对象的成对的二维点,包括:针对多个所述目标图像中的第一目标图像,基于所述第一目标图像中提取的图像特征信息、以及所述多个目标图像中除所述第一目标图像之外的其它目标图像中提取的图像特征信息,对所述第一目标图像中多个所述二维点的图像特征信息进行更新,得到所述第一目标图像中多个所述二维点分别对应的更新后的图像特征信息;

基于多个所述目标图像分别对应的更新后的图像特征信息,确定属于同一目标对象的成对的二维点。

13.根据权利要求12所述的方法,其特征在于,所述基于多个所述目标图像分别对应的更新后的图像特征信息,确定属于同一目标对象的成对的二维点,包括:从多个所述目标图像中任意选取两个目标图像,并从任意选取的所述两个目标图像中分别选取对应的两个二维点;

将选取的所述两个二维点分别对应的更新后的图像特征信息输入预先训练好的特征匹配网络中,并在确定网络输出特征匹配成功的情况下,确定选取的所述两个二维点为属于同一目标对象的成对的二维点。

14.根据权利要求11‑13任一所述的方法,其特征在于,按照如下步骤对所述二维点的图像特征信息进行更新:

基于所述二维点在对应目标图像中的二维坐标信息、以及与所述二维点所在目标图像不同的其它目标图像中其它二维点的二维坐标信息,确定所述二维点与所述其它二维点之间的极线距离;

基于所述二维点的图像特征信息、与所述二维点所在目标图像不同的其它目标图像中其它二维点的图像特征信息、以及所述极线距离对所述二维点的图像特征信息进行更新,得到更新后的图像特征信息。

15.一种三维点检测的装置,其特征在于,所述装置包括:获取模块,用于获取多个视角下对多个目标对象进行拍摄得到的目标图像,以及基于获取的所述目标图像确定的所述多个目标对象中每个目标对象的候选三维点的三维坐标信息;

检测模块,用于针对所述每个目标对象,基于所述目标对象的候选三维点的三维坐标信息,确定所述目标对象对应的候选三维空间;基于所述目标对象对应的候选三维空间、以及所述目标图像,确定所述目标对象的目标三维点的三维坐标信息。

16.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至14任一所述的三维点检测的方法的步骤。

17.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至14任一所述的三维点检测的方法的步骤。