利索能及
我要发布
收藏
专利号: 2021107972201
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种地图数据扩充方法,包括:

获取与第一图像集合相关联的二维坐标点的第一集合以及与二维坐标点的所述第一集合相关联的第一特征描述子集合;

获取地图数据,所述地图数据包括三维坐标点的集合以及与所述三维坐标点的集合相关联的第二特征描述子集合,所述第一图像集合与所述地图数据针对同一地图;

针对所述第一图像集合中的第一图像,基于所述第一特征描述子集合和所述第二特征描述子集合,确定与所述第一图像相关联的二维坐标点的第一子集和所述三维坐标点的集合之间的第一匹配点对集合;

基于所述第一匹配点对集合,确定所述第一图像相对于所述三维坐标点的集合的第一位姿;

基于所述第一位姿,将二维坐标点的所述第一子集转换为可用于扩充所述地图数据的三维坐标点的第一子集;

确定所述第一图像集合中的、与所述第一图像间隔多个预定间隔的多个其他图像;

基于所述第一特征描述子集合,确定与所述第一图像相关联的二维坐标点的所述第一子集和与所述多个其他图像相关联的二维坐标点的多个子集之间的第二匹配点对集合;以及如果与所述第二匹配点对集合中的第一匹配点对中的任一点相关联的图像已被确定位姿,则通过特征点三角化,基于所述第一匹配点对生成可用于扩充所述地图数据的三维坐标点的第二子集。

2.根据权利要求1所述的方法,其中确定所述第一匹配点对集合包括:针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合中的、与所述第一二维坐标点相关联的第一特征描述子,以及所述第二特征描述子集合,确定所述第二特征描述子集合中的、与所述第一特征描述子距离最近的第二特征描述子;以及如果所述第一特征描述子与所述第二特征描述子之间的距离小于第一阈值距离,则将与所述第一特征描述子和所述第二特征描述子相关联的点对确定为所述第一匹配点对集合中的匹配点对。

3.根据权利要求1所述的方法,其中确定所述第一位姿包括:

如果与所述第一图像相关联的所述第一匹配点对集合中的匹配点对的数目多于与所述第一图像集合中的、尚未被确定位姿的每个其他图像相关联的每个匹配点对集合中的匹配点对的数目,则基于所述第一匹配点对集合,确定所述第一位姿。

4.根据权利要求1所述的方法,其中确定所述第二匹配点对集合包括:针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合,确定与所述多个其他图像中的第二图像相关联的特征描述子的第一子集中的、与和所述第一二维坐标点相关联的第一特征描述子距离最近的第三特征描述子;以及如果所述第一特征描述子与所述第三特征描述子之间的距离小于第二阈值距离,则将与所述第一特征描述子和所述第三特征描述子相关联的点对确定为所述第二匹配点对集合中的匹配点对。

5.根据权利要求1所述的方法,还包括:

确定所述第一匹配点对集合中的、与所述三维坐标点的集合相关联的三维坐标点的子集;

确定用于形成所述地图数据的,与所述三维坐标点的子集相关联的第二图像集合;

基于所述第一特征描述子集合,确定与所述第一图像相关联的二维坐标点的所述第一子集和与所述第二图像集合相关联的二维坐标点的所述子集之间的第三匹配点对集合;以及通过特征点三角化,基于所述第三匹配点对集合生成可用于扩充所述地图数据的三维坐标点的第三子集。

6.根据权利要求5所述的方法,其中确定所述第三匹配点对集合包括:针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合,确定与所述第二图像集合中的第三图像相关联的特征描述子的第二子集中的、与和所述第一二维坐标点相关联的第一特征描述子距离最近的第四特征描述子;以及如果所述第一特征描述子与所述第四特征描述子之间的距离小于第三阈值距离,则将与所述第一特征描述子和所述第四特征描述子相关联的点对确定为所述第三匹配点对集合中的匹配点对。

7.根据权利要求1所述的方法,其中确定所述第一位姿包括:

基于所述第一匹配点对集合,确定所述第一图像相对于所述三维坐标点的集合的第二位姿;以及基于重投影误差约束,使用捆绑调整非线性优化算法来优化所述第二位姿,以得到所述第一位姿。

8.根据权利要求7所述的方法,其中优化所述第二位姿还基于以下至少一项:与所述第一图像集合中的相邻的两张图像相关联的位姿约束;

与所述相邻的两张图像相关联的旋转角度约束;以及

与所述相邻的两张图像相关联的点对距离误差约束。

9.根据权利要求7所述的方法,还包括:

基于所述重投影误差约束,使用所述捆绑调整非线性优化算法来优化三维坐标点的所述第一子集。

10.根据权利要求1所述的方法,还包括:

对三维坐标点的所述第一子集中的第一三维坐标点进行重投影,以得到重投影的二维坐标点;以及如果所述重投影的二维坐标点与二维坐标点的所述第一子集中的、和所述第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离,则从三维坐标点的所述第一子集删除所述第一三维坐标点。

11.一种地图数据扩充装置,包括:

第一获取模块,被配置为对第一图像集合进行特征提取,以得到二维坐标点的第一集合以及与二维坐标点的所述第一集合相关联的第一特征描述子集合;

第二获取模块,被配置为获取地图数据,所述地图数据包括三维坐标点的集合以及与所述三维坐标点的集合相关联的第二特征描述子集合,所述第一图像集合与所述地图数据针对同一地图;

第一匹配点对集合确定模块,被配置为针对所述第一图像集合中的第一图像,基于所述第一特征描述子集合和所述第二特征描述子集合,确定与所述第一图像相关联的二维坐标点的第一子集和所述三维坐标点的集合之间的第一匹配点对集合;

第一位姿确定模块,被配置为基于所述第一匹配点对集合,确定所述第一图像相对于所述三维坐标点的集合的第一位姿;

转换模块,被配置为基于所述第一位姿,将二维坐标点的所述第一子集转换为可用于扩充所述地图数据的三维坐标点的第一子集;

第一图像确定模块,被配置为确定所述第一图像集合中的、与所述第一图像间隔多个预定间隔的多个其他图像;

第二匹配点对确定模块,被配置为基于所述第一特征描述子集合,确定与所述第一图像相关联的二维坐标点的所述第一子集和与所述多个其他图像相关联的二维坐标点的多个子集之间的第二匹配点对集合;以及第一子集生成模块,被配置为如果与所述第二匹配点对集合中的第一匹配点对中的任一点相关联的图像已被确定位姿,则通过特征点三角化,基于所述第一匹配点对生成可用于扩充所述地图数据的三维坐标点的第二子集。

12.根据权利要求11所述的装置,其中所述第一匹配点对集合确定模块包括:第一特征描述子确定模块,被配置为针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合中的、与所述第一二维坐标点相关联的第一特征描述子,以及所述第二特征描述子集合,确定所述第二特征描述子集合中的、与所述第一特征描述子距离最近的第二特征描述子;以及第一匹配点对确定模块,被配置为如果所述第一特征描述子与所述第二特征描述子之间的距离小于第一阈值距离,则将与所述第一特征描述子和所述第二特征描述子相关联的点对确定为所述第一匹配点对集合中的匹配点对。

13.根据权利要求11所述的装置,其中所述第一位姿确定模块包括:第二位姿确定模块,被配置为如果与所述第一图像相关联的所述第一匹配点对集合中的匹配点对的数目多于与所述第一图像集合中的、尚未被确定位姿的每个其他图像相关联的每个匹配点对集合中的匹配点对的数目,则基于所述第一匹配点对集合,确定所述第一位姿。

14.根据权利要求11所述的装置,其中所述第二匹配点对确定模块包括:第二特征描述子确定模块,被配置为针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合,确定与所述多个其他图像中的第二图像相关联的特征描述子的第一子集中的、与和所述第一二维坐标点相关联的第一特征描述子距离最近的第三特征描述子;以及第三匹配点对确定模块,被配置为如果所述第一特征描述子与所述第三特征描述子之间的距离小于第二阈值距离,则将与所述第一特征描述子和所述第三特征描述子相关联的点对确定为所述第二匹配点对集合中的匹配点对。

15.根据权利要求11所述的装置,还包括:

子集确定模块,被配置为确定所述第一匹配点对集合中的、与所述三维坐标点的集合相关联的三维坐标点的子集;

图像集合确定模块,被配置为确定用于形成所述地图数据的,与所述三维坐标点的子集相关联的第二图像集合;

第四匹配点对确定模块,被配置为基于所述第一特征描述子集合,确定与所述第一图像相关联的二维坐标点的所述第一子集和与所述第二图像集合相关联的二维坐标点的所述子集之间的第三匹配点对集合;以及第二子集生成模块,被配置为通过特征点三角化,基于所述第三匹配点对集合生成可用于扩充所述地图数据的三维坐标点的第三子集。

16.根据权利要求15所述的装置,其中所述第四匹配点对确定模块包括:第三特征描述子确定模块,被配置为针对二维坐标点的所述第一子集中的第一二维坐标点,基于所述第一特征描述子集合,确定与所述第二图像集合中的第三图像相关联的特征描述子的第二子集中的、与和所述第一二维坐标点相关联的第一特征描述子距离最近的第四特征描述子;以及第五匹配点对确定模块,被配置为如果所述第一特征描述子与所述第四特征描述子之间的距离小于第三阈值距离,则将与所述第一特征描述子和所述第四特征描述子相关联的点对确定为所述第三匹配点对集合中的匹配点对。

17.根据权利要求11所述的装置,其中所述第一位姿确定模块包括:第三位姿确定模块,被配置为基于所述第一匹配点对集合,确定所述第一图像相对于所述三维坐标点的集合的第二位姿;以及第一优化模块,被配置为基于重投影误差约束,使用捆绑调整非线性优化算法来优化所述第二位姿,以得到所述第一位姿。

18.根据权利要求17所述的装置,其中所述第一优化模块还被配置为基于以下至少一项使用所述捆绑调整非线性优化算法来优化所述第二位姿:与所述第一图像集合中的相邻的两张图像相关联的位姿约束;

与所述相邻的两张图像相关联的旋转角度约束;以及

与所述相邻的两张图像相关联的点对距离误差约束。

19.根据权利要求17所述的装置,还包括:

第二优化模块,被配置为基于所述重投影误差约束,使用所述捆绑调整非线性优化算法来优化三维坐标点的所述第一子集。

20.根据权利要求11所述的装置,还包括:

重投影模块,被配置为对三维坐标点的所述第一子集中的第一三维坐标点进行重投影,以得到重投影的二维坐标点;以及删除模块,被配置为如果所述重投影的二维坐标点与二维坐标点的所述第一子集中的、和所述第一三维坐标点相关联的第二二维坐标点之间的距离大于第四阈值距离,则从三维坐标点的所述第一子集删除所述第一三维坐标点。

21.一种电子设备,其特征在于,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1‑10中任一项所述的方法。