1.一种路面凹坑自动检测和深度估计方法,其特征在于,包括:
在车头位置以固定间隔和角度对采集设备进行布设,并利用所述采集设备获取路面图像和路面激光点云;所述采集设备包括相机和2D激光雷达;
利用YOLOv5深度学习模型和DeepSORT目标跟踪器对所述路面图像中的凹坑区域进行检测和跟踪,得到根据时序变化的路面凹坑区域图像;
利用SFM算法对所述路面凹坑区域图像进行重建,得到三维重建点云;
对所述三维重建点云进行点云后处理,得到重建点云校准数据;所述点云后处理包括道路平面拟合、点云三维旋转、点云补全和点云离群点检测;
将所述路面激光点云和所述重建点云校准数据的坐标系转换为像素坐标系,并基于网格搜索算法计算比例因子,确定路面凹坑尺度信息;所述比例因子为所述路面激光点云和所述重建点云校准数据之间的对应关系。
2.根据权利要求1所述的路面凹坑自动检测和深度估计方法,其特征在于,所述利用YOLOv5深度学习模型和DeepSORT目标跟踪器对所述路面图像中的凹坑区域进行检测和跟踪,得到根据时序变化的路面凹坑区域图像,具体包括:利用所述YOLOv5深度学习模型对凹坑在图像中的像素位置进行检测,得到路面凹坑区域图像;
利用所述DeepSORT目标跟踪器进行位置跟踪,得到根据时序变化的路面凹坑区域图像。
3.根据权利要求2所述的路面凹坑自动检测和深度估计方法,其特征在于,利用所述YOLOv5深度学习模型对凹坑在图像中的像素位置进行检测,具体过程为:通过多个下采样层对所述路面图像进行卷积操作,生成第一特征图;
通过与各所述下采样层对应设置的上采样层对所述第一特征图进行转置卷积运算,得到与原始路面图像大小相同的第二特征图;
通过Softmax层和回归任务对所述第二特征图进行预测,并使用非极大值抑制方法减少路面凹坑的检测框重复数量,得到最终的路面凹坑区域图像。
4.根据权利要求2所述的路面凹坑自动检测和深度估计方法,其特征在于,利用所述DeepSORT目标跟踪器进行位置跟踪,具体过程为:对所述路面凹坑区域图像进行外观特征提取,并基于卡尔曼滤波算法进行路面凹坑跟踪,预测图像中的路面凹坑在下一帧图像中的位置,并在下一帧检测到凹坑时对凹坑位置进行更新;
采用匈牙利算法判断当前帧与上一帧帧中的路面凹坑目标是否为同一目标,为每个路面凹坑分配唯一ID,并将检测框以框中心为基准扩大为原来的2倍,得到根据时序变化的路面凹坑区域图像。
5.根据权利要求1所述的路面凹坑自动检测和深度估计方法,其特征在于,对所述三维重建点云进行点云后处理,具体过程为:在所述三维重建点云的坐标系中,对所有三维点进行最小二乘法拟合,得到道路平面方程系数;
基于所述道路平面方程系数进行点云三维旋转,得到校准后的三维点云坐标;
基于隶属云理论对所述校准后的三维点云坐标进行补全,得到补全后的点云坐标,表示为:xi=Enx·t1+x
yi=Eny·t2+y
zi=Enz·t3+z
其中,(xi,yi,zi)为补全后的点云坐标,(x,y,z)为点云坐标,t1、t2和t3为一维标准正态随机数,Enx、Eny、Enz分别为三维点云在x、y、z三个方向上点云的熵,表示点云的离散程度;
对所述补全后的点云坐标进行基于孤立森林的离群点检测,以排除噪声点对于路面负障碍深度估计的影响。
6.根据权利要求1所述的路面凹坑自动检测和深度估计方法,其特征在于,所述比例因子的计算过程为:基于网格搜索算法,选取一个反射强度最大且所对应像素位置位于凹坑检测框内的2D激光雷达点,并将所述2D激光雷达点对应的像素位置记为C,以点C为中心构建21×21大小的像素网格,在所述像素网格的范围内,将距离点C欧氏距离最小的重建点云对应的像素位置记为K,将点C在世界坐标系下的深度和点K在三维重建点云坐标系下的深度的比值确定为比例因子。
7.根据权利要求1所述的路面凹坑自动检测和深度估计方法,其特征在于,所述路面凹坑尺度信息的计算过程为:将所述比例因子与三维重建点云坐标系下的点云点Z轴数值相乘,得到各点云点在世界坐标系下对应的真实深度,从而确定路面凹坑尺度信息。
8.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1‑7中任一项所述的路面凹坑自动检测和深度估计方法。
9.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1‑7中任一项所述的路面凹坑自动检测和深度估计方法。