1.一种基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述方法应用于设置有毫米波雷达和双目相机的设备中,所述方法包括:对所述设备行进过程中所述双目相机采集到的图像数据进行特征提取,获得所述图像数据中每一帧图像的特征点;所述图像数据包括连续拍摄的图像帧;
根据所述毫米波雷达采集到的距离数据,确定出所述每一帧图像中各个特征点对应的第一深度参数;
根据所述图像数据中前一帧图像中各个特征点对应的第一深度参数,利用视觉里程计计算后一帧图像中各个特征点对应的第二深度参数;
根据每一帧图像中各个特征点对应的第一深度参数和第二深度参数,对每一帧图像中各个特征点对应的深度参数进行优化,获得每一帧图像中各个特征点对应的目标深度参数;
基于所述目标深度参数对所述图像数据中相邻两帧图像进行运动估算,完成所述前一帧图像至所述后一帧图像的同时定位与建图。
2.根据权利要求1所述基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述对所述设备行进过程中所述双目相机采集到的图像数据进行特征提取,获得所述图像数据中每一帧图像的特征点;所述图像数据包括连续拍摄的图像帧,之前还包括:对所述双目相机和所述毫米波雷达的内参标定。
3.根据权利要求2所述基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述根据所述毫米波雷达采集到的距离数据,确定出所述每一帧图像中各个特征点对应的第一深度参数,包括:
利用所述双目相机和所述毫米波雷达的内参标定结果,将所述距离数据投影至对应图像数据的特征点,转化为每个特征点的第一深度参数。
4.根据权利要求3所述基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述利用所述双目相机和所述毫米波雷达的内参标定结果,将所述距离数据投影至对应图像数据的特征点,转化为每个特征点的第一深度参数,包括:利用所述双目相机和所述毫米波雷达的内参标定结果,将所述距离数据投影至对应图像数据的特征点;
滤除没有所述距离数据投影的图像数据特征点;
将所述距离数据转化为对应图像数据的特征点的第一深度参数。
5.根据权利要求3所述基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述根据所述图像数据中前一帧图像中各个特征点对应的第一深度参数,利用视觉里程计计算后一帧图像中各个特征点对应的第二深度参数,包括:将所述前一帧图像中各个特征点与所述后一帧图像中各个特征点进行比对,确定出所述前一帧图像和所述后一帧图像中相同的特征点;
利用视觉里程计根据所述相同的特征点计算后一帧图像中各个特征点对应的第二深度参数。
6.根据权利要求1所述基于毫米波雷达和双目相机的同时定位与建图方法,其特征在于,所述根据每一帧图像中各个特征点对应的第一深度参数和第二深度参数,对每一帧图像中各个特征点对应的深度参数进行优化,获得每一帧图像中各个特征点对应的目标深度参数,根据如下公式:
2 2 2
Xf~N(μf,σf)=Xp*Xm=N(μp,σp)*N(μm,σm)其中,Xf为目标深度参数,N代表正太分布(Normal distribution),μf、μp和μm均为均值,σf、σp和σm均为标准差,Xp为第一深度参数,Xm为第二深度参数。
7.一种基于毫米波雷达和双目相机的同时定位与建图装置,其特征在于,所述装置包括:
特征提取模块,用于对设备行进过程中所述双目相机采集到的图像数据进行特征提取,获得所述图像数据中每一帧图像的特征点;所述图像数据包括连续拍摄的图像帧;
第一深度参数确定模块,用于根据所述毫米波雷达采集到的距离数据,确定出所述每一帧图像中各个特征点对应的第一深度参数;
第二深度参数确定模块,用于根据所述图像数据中前一帧图像中各个特征点对应的第一深度参数,利用视觉里程计计算后一帧图像中各个特征点对应的第二深度参数;
目标深度参数确定模块,用于根据每一帧图像中各个特征点对应的第一深度参数和第二深度参数,对每一帧图像中各个特征点对应的深度参数进行优化,获得每一帧图像中各个特征点对应的目标深度参数;
同时定位与建图模块,用于基于所述目标深度参数对所述图像数据中相邻两帧图像进行运动估算,完成所述前一帧图像至所述后一帧图像的同时定位与建图。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1‑6中任一项所述基于毫米波雷达和双目相机的同时定位与建图方法。
9.一种电子设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1‑6中任一项所述基于毫米波雷达和双目相机的同时定位与建图方法。
10.一种车辆,所述车辆设置有自动驾驶系统,所述自动驾驶系统包括基于毫米波雷达和双目相机的同时定位与建图装置;其中,所述基于毫米波雷达和双目相机的同时定位与建图装置包括特征提取模块、第一深度参数确定模块、第二深度参数确定模块、目标深度参数确定模块和同时定位与建图模块。