利索能及
我要发布
收藏
专利号: 2021113485528
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种地图构建方法,其特征在于,所述方法包括:

获取目标场景的全景图像,基于所述全景图像生成视球面坐标系对应的视球面图像;

基于所述视球面图像生成第一虚拟相机对应的第一小孔图像;其中,所述第一虚拟相机的位置是视球面坐标系的球心位置,所述第一虚拟相机的初始姿态是以所述球心位置为中心的任一姿态;所述基于所述视球面图像生成第一虚拟相机对应的第一小孔图像,包括:基于第一小孔图像的宽度和高度确定所述第一小孔图像的中心点坐标,基于所述中心点坐标和目标距离确定所述第一小孔图像中的直角坐标与所述视球面图像中的经纬度坐标之间的映射关系,所述目标距离是所述第一小孔图像的中心点与所述视球面坐标系的球心位置之间的距离;针对所述第一小孔图像中的每个直角坐标,基于所述映射关系从所述视球面图像中确定与该直角坐标对应的经纬度坐标,基于该经纬度坐标的像素值确定该直角坐标的像素值;基于第一小孔图像中的每个直角坐标的像素值生成所述第一小孔图像;

确定第二虚拟相机的目标姿态与所述初始姿态之间的旋转矩阵,并基于所述旋转矩阵确定所述目标姿态与所述初始姿态之间的外参矩阵;其中,所述第二虚拟相机的位置是所述视球面坐标系的球心位置,所述目标姿态是对所述初始姿态绕所述视球面坐标系的坐标轴进行旋转得到;

基于所述旋转矩阵确定第二虚拟相机对应的第二小孔图像,从第一小孔图像和第二小孔图像中选取目标场景的实际位置对应的二维特征点,并基于所述二维特征点和所述外参矩阵确定所述实际位置对应的三维地图点;

基于目标场景的多个三维地图点构建所述目标场景的三维视觉地图。

2.根据权利要求1所述的方法,其特征在于,

所述基于所述全景图像生成所述视球面坐标系对应的视球面图像,包括:

基于所述全景图像的宽度和高度,确定所述视球面图像中的经纬度坐标与所述全景图像中的直角坐标之间的映射关系;针对所述视球面图像中的每个经纬度坐标,基于所述映射关系从所述全景图像中确定与该经纬度坐标对应的直角坐标,并基于该直角坐标的像素值确定该经纬度坐标的像素值;

基于视球面图像中的每个经纬度坐标的像素值生成所述视球面图像。

3.根据权利要求1所述的方法,其特征在于,

所述确定第二虚拟相机的目标姿态与所述初始姿态之间的旋转矩阵,包括:

确定所述目标姿态与所述初始姿态之间的在第一坐标轴方向的第一旋转角度,基于所述第一旋转角度确定第一坐标轴方向的第一子旋转矩阵;

确定所述目标姿态与所述初始姿态之间的在第二坐标轴方向的第二旋转角度,基于所述第二旋转角度确定第二坐标轴方向的第二子旋转矩阵;

确定所述目标姿态与所述初始姿态之间的在第三坐标轴方向的第三旋转角度,基于所述第三旋转角度确定第三坐标轴方向的第三子旋转矩阵;

基于所述第一子旋转矩阵、所述第二子旋转矩阵和所述第三子旋转矩阵确定所述目标姿态与所述初始姿态之间的旋转矩阵。

4.根据权利要求1所述的方法,其特征在于,所述基于所述旋转矩阵确定所述目标姿态与所述初始姿态之间的外参矩阵,包括:确定所述第一虚拟相机与所述第二虚拟相机之间的平移矩阵;

基于所述旋转矩阵和所述平移矩阵确定所述外参矩阵。

5.根据权利要求1所述的方法,其特征在于,所述基于所述二维特征点和所述外参矩阵确定所述实际位置对应的三维地图点,包括:确定已配置的损失函数的目标损失值;

基于所述目标损失值和所述实际位置对应的二维特征点,确定虚拟相机的坐标系与小孔图像的坐标系之间的投影函数值;

基于所述外参矩阵和所述投影函数值确定所述实际位置对应的三维地图点。

6.根据权利要求1所述的方法,其特征在于,

所述三维视觉地图包括样本图像对应的样本全局描述子、所述样本图像对应的三维地图点和所述三维地图点对应的样本局部描述子;其中,所述样本图像是从所述第一小孔图像和所述第二小孔图像中选取的小孔图像;

所述构建所述目标场景的三维视觉地图之后,所述方法还包括:

在终端设备的全局定位过程中,获取所述终端设备在所述目标场景中的目标图像;基于所述目标图像与所述三维视觉地图对应的多帧样本图像之间的相似度,从所述多帧样本图像中选取出候选样本图像;

从所述目标图像中获取多个特征点;针对每个特征点,从所述候选样本图像对应的三维地图点中确定出与该特征点对应的目标三维地图点;

基于所述多个特征点和所述多个特征点对应的目标三维地图点,确定所述目标图像对应的所述三维视觉地图中的全局定位位姿。

7.根据权利要求6所述的方法,其特征在于,

所述基于所述目标图像与所述三维视觉地图对应的多帧样本图像之间的相似度,从所述多帧样本图像中选取出候选样本图像,包括:确定所述目标图像对应的待测全局描述子,确定所述待测全局描述子与所述三维视觉地图对应的每帧样本图像对应的样本全局描述子之间的距离;

基于所述待测全局描述子与每个样本全局描述子之间的距离,从所述多帧样本图像中选取出候选样本图像;其中,所述待测全局描述子与候选样本图像对应的样本全局描述子之间的距离为最小距离;或,所述待测全局描述子与候选样本图像对应的样本全局描述子之间的距离小于距离阈值。

8.根据权利要求6所述的方法,其特征在于,所述从所述候选样本图像对应的三维地图点中确定出与该特征点对应的目标三维地图点,包括:确定该特征点对应的待测局部描述子,所述待测局部描述子用于表示该特征点所处图像块的特征向量,且所述图像块位于所述目标图像中;

确定所述待测局部描述子与所述候选样本图像对应的每个三维地图点对应的样本局部描述子之间的距离;基于所述待测局部描述子与每个样本局部描述子之间的距离,从所述候选样本图像对应的三维地图点中选取目标三维地图点;

其中,所述待测局部描述子与所述目标三维地图点对应的样本局部描述子之间的距离为最小距离,且所述最小距离小于距离阈值。

9.一种地图构建装置,其特征在于,所述装置包括:

获取模块,用于获取目标场景的全景图像;

生成模块,用于基于所述全景图像生成视球面坐标系对应的视球面图像;基于所述视球面图像生成第一虚拟相机对应的第一小孔图像;其中,所述第一虚拟相机的位置是视球面坐标系的球心位置,所述第一虚拟相机的初始姿态是以所述球心位置为中心的任一姿态;所述生成模块基于所述视球面图像生成第一虚拟相机对应的第一小孔图像时具体用于:基于第一小孔图像的宽度和高度确定第一小孔图像的中心点坐标,基于所述中心点坐标和目标距离确定所述第一小孔图像中的直角坐标与所述视球面图像中的经纬度坐标之间的映射关系,所述目标距离是所述第一小孔图像的中心点与所述视球面坐标系的球心位置之间的距离;针对第一小孔图像中的每个直角坐标,基于所述映射关系从所述视球面图像中确定与该直角坐标对应的经纬度坐标,基于该经纬度坐标的像素值确定该直角坐标的像素值;基于第一小孔图像中的每个直角坐标的像素值生成所述第一小孔图像;

确定模块,用于确定第二虚拟相机的目标姿态与所述初始姿态之间的旋转矩阵,并基于所述旋转矩阵确定所述目标姿态与所述初始姿态之间的外参矩阵;其中,所述第二虚拟相机的位置是所述视球面坐标系的球心位置,所述目标姿态是对所述初始姿态绕所述视球面坐标系的坐标轴进行旋转得到;

所述生成模块,还用于基于所述旋转矩阵确定所述第二虚拟相机对应的第二小孔图像;所述确定模块,还用于从所述第一小孔图像和所述第二小孔图像中选取所述目标场景的实际位置对应的二维特征点,并基于所述二维特征点和所述外参矩阵确定所述实际位置对应的三维地图点;以及,基于所述目标场景的多个三维地图点构建所述目标场景的三维视觉地图。

10.根据权利要求9所述的装置,其特征在于,

其中,所述生成模块基于所述全景图像生成所述视球面坐标系对应的视球面图像时具体用于:基于所述全景图像的宽度和高度,确定所述视球面图像中的经纬度坐标与所述全景图像中的直角坐标之间的映射关系;针对所述视球面图像中的每个经纬度坐标,基于所述映射关系从所述全景图像中确定与该经纬度坐标对应的直角坐标,并基于该直角坐标的像素值确定该经纬度坐标的像素值;基于视球面图像中的每个经纬度坐标的像素值生成所述视球面图像;

其中,所述确定模块确定第二虚拟相机的目标姿态与所述初始姿态之间的旋转矩阵时具体用于:确定所述目标姿态与所述初始姿态之间的在第一坐标轴方向的第一旋转角度,基于第一旋转角度确定第一坐标轴方向的第一子旋转矩阵;确定所述目标姿态与所述初始姿态之间的在第二坐标轴方向的第二旋转角度,基于第二旋转角度确定第二坐标轴方向的第二子旋转矩阵;确定所述目标姿态与所述初始姿态之间的在第三坐标轴方向的第三旋转角度,基于第三旋转角度确定第三坐标轴方向的第三子旋转矩阵;基于第一子旋转矩阵、第二子旋转矩阵和第三子旋转矩阵确定所述目标姿态与所述初始姿态之间的旋转矩阵;

其中,所述确定模块基于所述旋转矩阵确定所述目标姿态与所述初始姿态之间的外参矩阵时具体用于:确定所述第一虚拟相机与所述第二虚拟相机之间的平移矩阵;基于所述旋转矩阵和所述平移矩阵确定所述外参矩阵;

其中,所述确定模块基于所述二维特征点和所述外参矩阵确定所述实际位置对应的三维地图点时具体用于:确定已配置的损失函数的目标损失值;基于所述目标损失值和所述实际位置对应的所述二维特征点,确定虚拟相机的坐标系与小孔图像的坐标系之间的投影函数值;基于所述外参矩阵和所述投影函数值确定所述实际位置对应的三维地图点;

其中,所述三维视觉地图包括样本图像对应的样本全局描述子、所述样本图像对应的三维地图点和所述三维地图点对应的样本局部描述子;所述样本图像是从第一小孔图像和第二小孔图像中选取的小孔图像;所述装置还包括:定位模块,用于在终端设备的全局定位过程中,获取终端设备在目标场景中的目标图像;基于所述目标图像与三维视觉地图对应的多帧样本图像之间的相似度,从所述多帧样本图像中选取出候选样本图像;从所述目标图像中获取多个特征点;针对每个特征点,从所述候选样本图像对应的三维地图点中确定出与该特征点对应的目标三维地图点;基于所述多个特征点和所述多个特征点对应的目标三维地图点,确定所述目标图像对应的所述三维视觉地图中的全局定位位姿;

其中,所述定位模块基于所述目标图像与所述三维视觉地图对应的多帧样本图像之间的相似度,从所述多帧样本图像中选取出候选样本图像时具体用于:确定所述目标图像对应的待测全局描述子,确定所述待测全局描述子与所述三维视觉地图对应的每帧样本图像对应的样本全局描述子之间的距离;基于所述待测全局描述子与每个样本全局描述子之间的距离,从所述多帧样本图像中选取出候选样本图像;其中,所述待测全局描述子与所述候选样本图像对应的样本全局描述子之间的距离为最小距离;或者,所述待测全局描述子与所述候选样本图像对应的样本全局描述子之间的距离小于距离阈值;

其中,所述定位模块从所述候选样本图像对应的三维地图点中确定出与该特征点对应的目标三维地图点时具体用于:确定该特征点对应的待测局部描述子,所述待测局部描述子用于表示该特征点所处图像块的特征向量,且所述图像块位于所述目标图像中;确定所述待测局部描述子与所述候选样本图像对应的每个三维地图点对应的样本局部描述子之间的距离;基于所述待测局部描述子与每个样本局部描述子之间的距离,从所述候选样本图像对应的三维地图点中选取目标三维地图点;其中,所述待测局部描述子与所述目标三维地图点对应的样本局部描述子之间的距离为最小距离,且所述最小距离小于距离阈值。

11.一种地图构建设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现权利要求1‑8任一项所述的方法步骤。