1.一种多相机车辆环境三维重构和运动估计系统,其特征在于,包括:双目视觉三维重构模块、单目视觉三维重构模块及整车环境三维重构模块;其中,双目视觉三维重构模块:用于将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取与匹配,从而得到稠密的三维点云,同时对双目摄像头拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配,获得车辆的运动估计,并传输给单目视觉三维重构模块;
单目视觉三维重构模块:用于对每台标定过的单目摄像头采集的图像进行特征点提取,并利用双目视觉三维重构系统得到的车辆运动估计,可以求得单目相机前后时刻的旋转平移参数,再对前后帧图像上的特征点进行匹配,从而获得精确的三维稠密点云;
整车环境三维重构模块:用于将所述双目视觉三维重构模块和单目视觉三维重构模块获得的三维稠密点云进行坐标转换拼接,并通过光束法平差方法对每个三维坐标点进行优化,从而获得优化后的整车环境的三维环境重构结果;
三维重构和运动估计具体包括以下步骤:步骤1、对5个摄像头分别进行标定,获得每台相机的内参,以及各台相机之间的旋转平移参数,并对获取的图像进行畸变矫正;
步骤2、用特征点提取算法分别对双目摄像头拍摄的左、右图像进行特征点提取;
步骤3、对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配;其中左、右匹配利用极线约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围;
步骤4、根据步骤3中匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;
步骤5、利用步骤3中的匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云;
步骤6、对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且每台相机之间的旋转平移参数可由步骤1标定中得到,因此,可以求得每台单目相机相对于车身的位姿,再利用步骤4中获得的车辆当前的运动估计,可以得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云;
步骤7、根据已知的双目相机相对于车身的位姿,可以得到双目相机在车身坐标系O下的三维稠密点云;并且,根据步骤6中获得的每台单目相机相对于车身的位姿,获得单目相机在车身坐标系O下的三维稠密点云,所得即为整车环境的三维重构地图;
步骤8、利用光束法平差方法对每一个三维空间点进行优化,消除噪声。
2.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目摄像头有两个摄像头,用于拍摄车前的场景,单目摄像头有3个摄像头,分别用于拍摄行车右、后、左边的场景。
3.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目摄像头和单目摄像头均为广角摄像头。
4.根据权利要求1‑3之一所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述车辆的速度在0.1s内呈线性变化。
5.根据权利要求1‑3之一所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述双目视觉三维重构模块将位于车辆前端标定过的双目摄像头采集回来的图像进行特征点提取算法具体包括步骤:尺度空间的极值检测;特征点定位;特征方向赋值;特征点描述。
6.根据权利要求5所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述对双目相机拍摄的同一时刻的左、右帧图像进行特征点匹配以及同一台相机拍摄的前、后帧图像进行特征点匹配具体包括;左、右匹配利用极线约束将对应特征点的搜索范围缩小到一条直线上,前、后匹配则在竖直方向上增大搜索范围。
7.根据权利要求6所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,根据匹配好的特征点及其3D坐标,利用重投影方法获得估计坐标值,再将估计的坐标值与实际的坐标值进行参数优化,获得前后两个时刻相机的运动,从而得到车辆当前的运动估计;利用匹配结果对双目相机拍摄的车辆前方的场景进行三维重构,获得以左相机光学中心为坐标原点的稠密的三维点云。
8.根据权利要求7所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述单目视觉三维重构模块对于每台单目相机拍摄的场景,由于双目相机相对于车身的位姿为已知,并且根据每台相机之间的旋转平移参数,可以求得每台单目相机相对于车身的位姿,再利用获得的车辆当前的运动估计,得到每台单目相机的运动估计,再对前后帧图像进行特征点检测与匹配,从而获得精确的稠密三维点云。
9.根据权利要求1所述的一种多相机车辆环境三维重构和运动估计系统,其特征在于,所述步骤7中,将双目相机1坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:(X′1,Y′1,Z′1)=(R1,T1)·(X1,Y1,Z1),(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点,以左相机C1为坐标原点;R1和T1分别表示相机1坐标系到车身坐标系的旋转参数矩阵和平移参数矩阵;
将相机3坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:(X'3,Y′3,Z′3)=(R3,T3)·(X3,Y3,Z3),将相机4坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:
(X'4,Y′4,Z'4)=(R4,T4)·(X4,Y4,Z4)将相机5坐标系下的三维点云转到车身坐标系O下,可由如下公式计算:(X'5,Y′5,Z′5)=(R5,T5)·(X5,Y5,Z5)其中,(X1,Y1,Z1)为双目视觉系统重构出的一个三维空间点;(X3,Y3,Z3)为单目视觉系统中相机3重构出的一个三维空间点。