1.基于深度学习的视觉语义库构建及全局定位方法,其特征是,包括:
视觉语义库构建步骤:获取相机运动过程中关键帧图像的空间位姿,输入关键帧图像获取图像中不同物体的二维空间位置,并结合物体名称获取物体的局部特征,将关键帧图像的空间位姿、物体名称、物体局部特征存入数据库;
相机定位步骤:利用物品种类粗筛选和图像特征细筛选两层候选帧检索机制筛选出与当前图像相似的候选图像,其中,粗筛选阶段,获取当前图像的物品信息并与数据库中的物品信息对比,找出包含当前物品信息的关键帧,细筛选阶段,对于找到的关键帧,通过物品局部特征匹配找出最相似关键帧。
2.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,利用视觉SLAM算法获取的相机位姿作为位姿基准构建视觉语义库。
3.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,利用ORB特征匹配并结合非线性优化获取关键帧的位姿。
4.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,Mask R-CNN网络输入关键帧图像,直接获取关键帧图像的物体属性和相对区域。
5.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,采用SURF特征作为相对区域内物体的局部特征。
6.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,在数据库中定义了两个表格:物体表和图像表,其中物体表中保存的是物体的ID,物体的名称,对应的物体图像特征和物体所属关键帧ID;
图像表中存储的是关键帧ID,该关键帧所对应的位姿,彩色图像名称,深度图像名称;
两表之间通过物体表中物体所属关键帧ID和图像表中的关键帧ID进行关联,获取每个关键帧对应的物体信息和每个物体所属的关键帧。
7.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,物体ID、图像位姿、物体名称、彩色图像名称、深度图像名称通过文本格式存储,物体图像特征通过二进制格式存储。
8.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,粗筛选阶段,通过Mask R-CNN网络获取当前图像的物品信息并与数据库中的物品信息对比,找出包含当前物品信息的关键帧。
9.如权利要求1所述的基于深度学习的视觉语义库构建及全局定位方法,其特征是,细筛选阶段,对于找到的关键帧,通过物品局部特征匹配找出最相似关键帧,对于获取的候选图像,基于ICP迭代最近邻算法估算出当前图像与候选图像的位姿变换,并与ORB-SLAM2获取的候选图像的世界坐标系下的位姿相结合从而获取当前图像的全局位姿变换。
10.基于深度学习的视觉语义库构建及全局定位系统,其特征是,包括:
视觉语义库构建模块:获取相机的关键帧及对应的位姿,输入关键帧图像获取关键帧物体语义信息,根据物体语义信息进行物体局部特征的提取,将关键帧对应的位姿、物体语义信息、物体局部特征存入数据库;
相机定位模块:利用物品种类粗筛选和图像特征细筛选两层候选帧检索机制筛选出与当前图像相似的候选图像,其中,粗筛选阶段,获取当前图像的物品信息并与数据库中的物品信息对比,找出包含当前物品信息的关键帧,细筛选阶段,对于找到的关键帧,通过物品局部特征匹配找出最相似关键帧。