1.一种双目图像的视差确定方法,其特征在于,所述方法包括:
获取待检测双目图像,所述待检测双目图像为同一被摄对象对应的两个不同角度的拍摄图像;
将所述待检测双目图像输入视差检测模型,并获取所述视差检测模型检测的所述待检测双目图像之间的视差;
其中,所述视差检测模型为基于多个样本双目图像和每个样本双目图像对应的标准视差对神经网络模型进行训练后得到的模型,每个样本双目图像对应的标准视差为:基于测距设备获取的该样本双目图像对应的被摄对象的标准深度,计算的该样本双目图像的视差;
其中,所述测距设备为下述高精度测距设备中的至少一种:激光雷达、飞行时间测距TOF相机和结构光相机;所述高精度测距设备的精度范围包括厘米级和/或毫米级;
所述每个样本双目图像对应的标准视差通过以下步骤获取:
通过测距设备,获取该样本双目图像中的其中一个样本图像包括的每个像素点对应的被摄对象相对于拍摄该样本双目图像的两个相机的标准深度,所述被摄对象到所述两个相机的标准深度相同;
对于所述样本图像包括的每个像素点,基于拍摄所述样本图像的第一相机的焦距、所述两个相机之间的基线长度以及该像素点对应的被摄对象相对于所述两个相机的标准深度,确定该像素点对应的标准视差。
2.根据权利要求1所述的方法,其特征在于,所述通过测距设备,获取该样本双目图像中的其中一个样本图像包括的每个像素点对应的被摄对象相对于拍摄该样本双目图像的两个相机的标准深度,包括:在所述第一相机拍摄所述样本图像的同时,利用所述测距设备获取所述样本图像画面中的各像素点在所述测距设备的坐标系下的坐标;
根据所述第一相机与所述测距设备的坐标系之间的第一坐标转换关系,将所述测距设备获取的各坐标映射到第一相机坐标系,获得所述第一相机坐标系下的各像素点的坐标,所述第一相机坐标系下每个像素点的坐标包括该像素点对应的被摄对象与所述第一相机之间的水平距离、垂直距离和深度距离;
根据所述第一相机拍摄的图像坐标系与所述第一相机坐标系之间的第二坐标转换关系,对于所述样本图像包括的每个像素点,获取该像素点的坐标在所述第一相机坐标系下对应的目标坐标,并从所述目标坐标中提取深度距离作为该像素点对应的被摄对象相对于所述两个相机的标准深度。
3.根据权利要求1或2所述的方法,其特征在于,所述视差检测模型通过以下方式训练获得:获取多个样本双目图像,并获取每个样本双目图像对应的标准视差;
将所述多个样本双目图像输入所述神经网络模型;
获取所述神经网络模型对输入的样本双目图像检测的视差;
基于所述神经网络模型对输入的样本双目图像检测的视差和输入的样本图像对应的标准视差,计算损失函数值;
根据所述损失函数值判断所述神经网络模型是否收敛;
若所述神经网络模型收敛,则得到所述视差检测模型;
若所述神经网络模型未收敛,则调整所述神经网络模型包括的各网络层对应的权重参数,进行下一次训练。
4.根据权利要求1或2所述的方法,其特征在于,在所述获取所述视差检测模型检测的所述待检测双目图像之间的视差之后,所述方法还包括:根据所述视差,计算所述待检测双目图像对应的被摄对象的深度,得到所述待检测双目图像对应的被摄对象在目标坐标系下的坐标,所述目标坐标系为拍摄所述待检测双目图像的两个相机中任一相机的坐标系;
根据所述待检测双目图像对应的被摄对象在所述目标坐标系下的坐标,生成高精度地图。
5.根据权利要求1或2所述的方法,其特征在于,所述待检测双目图像为安装在车辆上的双目相机在所述车辆行驶过程中拍摄的图像;在所述获取所述视差检测模型检测的所述待检测双目图像之间的视差之后,所述方法还包括:根据所述视差,计算所述待检测双目图像对应的被摄对象的深度;
在所述待检测双目图像对应的被摄对象的深度小于预设阈值时,指示所述车辆执行避让操作。
6.一种双目图像的视差确定装置,其特征在于,所述装置包括:
获取模块,被配置为获取待检测双目图像,所述待检测双目图像为同一被摄对象对应的两个不同角度的拍摄图像;
输入模块,被配置为将所述获取模块获取的所述待检测双目图像输入视差检测模型,并获取所述视差检测模型检测的所述待检测双目图像之间的视差;
其中,所述视差检测模型为基于多个样本双目图像和每个样本双目图像对应的标准视差对神经网络模型进行训练后得到的模型,每个样本双目图像对应的标准视差为基于测距设备获取的该样本双目图像对应的被摄对象的标准深度,计算的该样本双目图像的视差;
其中,所述测距设备为下述高精度测距设备中的至少一种:激光雷达、飞行时间测距TOF相机和结构光相机;所述高精度测距设备的精度范围包括厘米级和/或毫米级;
所述获取模块,还被配置为:
通过测距设备,获取该样本双目图像中的其中一个样本图像包括的每个像素点对应的被摄对象相对于拍摄该样本双目图像的两个相机的标准深度,所述被摄对象到所述两个相机的标准深度相同;
对于所述样本图像包括的每个像素点,基于拍摄所述样本图像的第一相机的焦距、所述两个相机之间的基线长度以及该像素点对应的被摄对象相对于所述两个相机的标准深度,确定该像素点对应的标准视差。
7.根据权利要求6所述的装置,其特征在于,所述获取模块,具体被配置为:在所述第一相机拍摄所述样本图像的同时,利用所述测距设备获取所述样本图像画面中的各像素点在所述测距设备的坐标系下的坐标;
根据所述第一相机与所述测距设备的坐标系之间的第一坐标转换关系,将所述测距设备获取的各坐标映射到第一相机的坐标系,获得第一相机坐标系下的各像素点的坐标,所述第一相机坐标系下每个像素点的坐标包括该像素点对应的被摄对象与所述第一相机之间的水平距离、垂直距离和深度距离;
根据所述第一相机拍摄的图像坐标系与所述第一相机的坐标系之间的第二坐标转换关系,对于所述样本图像包括的每个像素点,获取该像素点的坐标在所述第一相机坐标系下对应的目标坐标,并从所述目标坐标中提取深度距离作为该像素点对应的被摄对象相对于所述两个相机的标准深度。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括训练模块,所述训练模块,被配置为:获取多个样本双目图像,并获取每个样本双目图像对应的标准视差;
将所述多个样本双目图像输入所述神经网络模型;
获取所述神经网络模型对输入的样本双目图像检测的视差;
基于所述神经网络模型对输入的样本双目图像检测的视差和输入的样本图像对应的标准视差,计算损失函数值;
根据所述损失函数值判断所述神经网络模型是否收敛;
若所述神经网络模型收敛,则得到所述视差检测模型;
若所述神经网络模型未收敛,则调整所述神经网络模型包括的各网络层对应的权重参数,进行下一次训练。
9.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:计算模块和生成模块;
所述计算模块,被配置为在所述获取所述视差检测模型检测的所述待检测双目图像之间的视差之后,根据所述视差,计算所述待检测双目图像对应的被摄对象的深度,得到所述待检测双目图像对应的被摄对象在目标坐标系下的坐标,所述目标坐标系为拍摄所述待检测双目图像的两个相机中任一相机的坐标系;
所述生成模块,被配置为根据所述待检测双目图像对应的被摄对象在所述目标坐标系下的坐标,生成高精度地图。
10.根据权利要求6或7所述的装置,其特征在于,所述待检测双目图像为安装在车辆上的双目相机在所述车辆行驶过程中拍摄的图像;所述装置还包括:计算模块和指示模块;
所述计算模块,被配置为在所述获取所述视差检测模型检测的所述待检测双目图像之间的视差之后,根据所述视差,计算所述待检测双目图像对应的被摄对象的深度;
所述指示模块,被配置为在所述待检测双目图像对应的被摄对象的深度小于预设阈值时,指示所述车辆执行避让操作。
11.一种双目图像的视差确定系统,其特征在于,所述系统包括:测距设备、双目相机、处理模块和进行部件;其中,所述双目相机,用于在所属的车辆行驶过程中拍摄待检测双目图像,并向所述处理模块发送所述待检测双目图像,所述待检测双目图像为同一被摄对象对应的两个不同角度的拍摄图像;
所述处理模块,用于获取所述待检测双目图像;将所述待检测双目图像输入视差检测模型,并获取所述视差检测模型检测的所述待检测双目图像之间的视差;其中,所述视差检测模型为基于多个样本双目图像和每个样本双目图像对应的标准视差对神经网络模型进行训练后得到的模型,每个样本双目图像对应的标准视差为:基于所述测距设备获取的该样本双目图像对应的被摄对象的标准深度,计算的该样本双目图像的视差;
所述处理模块,还用于根据所述视差,对所述车辆进行导航,以使得所述进行部件执行避让所述被摄对象的操作;
其中,所述测距设备为下述高精度测距设备中的至少一种:激光雷达、飞行时间测距TOF相机和结构光相机;所述高精度测距设备的精度范围包括厘米级和/或毫米级;
所述处理模块,具体用于通过测距设备,获取该样本双目图像中的其中一个样本图像包括的每个像素点对应的被摄对象相对于拍摄该样本双目图像的两个相机的标准深度,所述被摄对象到所述两个相机的标准深度相同;
对于所述样本图像包括的每个像素点,基于拍摄所述样本图像的第一相机的焦距、所述两个相机之间的基线长度以及该像素点对应的被摄对象相对于所述两个相机的标准深度,确定该像素点对应的标准视差。