1.一种基于深度估计改进的无人车姿态校正方法,其特征在于,所述无人车上设置有激光雷达和摄像头,包括以下步骤:步骤一、利用激光雷达和摄像头分别采集三维点云和二维图像,利用Depth Anything算法从所述二维图像中获得深度估计图像;
步骤二、将三维点云、二维图像和深度估计图像输入姿态校正网络,
所述姿态校正网络包括依次连接的特征嵌入模块、重叠区域检测模块和姿态估算模块;
所述特征嵌入模块包括第一ResNet网络、第一最大池化层、第一SO‑Net网络和第二最大池化层,所述第一最大池化层设置在所述第一ResNet网络后,所述第二最大池化层设置在所述第一SO‑Net网络后;
所述二维图像和深度估计图像连接后得到混合图像并输入所述第一ResNet网络,所述第一ResNet网络用于提取混合图像的局部图像特征 ,所述第一最大池化层用于获得混合图像的全局图像特征 ;
所述三维点云输入所述第一SO‑Net网络,所述第一SO‑Net网络用于提取三维点云的局部点云特征 ,所述第二最大池化层用于获得三维点云的全局点云特征 ;
所述重叠区域检测模块包括点云操作模块、图像操作模块和重叠检测模块,所述点云操作模块包括图像到点云注意融合模块I2PAF和点云解码器;
所述图像操作模块包括点云到图像注意融合模块P2IAF和图像解码器;
混合图像的全局图像特征 和三维点云的局部点云特征 连接后通过所述图像到点云注意融合模块I2PAF得到图像权重特征 ;
三维点云的全局点云特征 和混合图像的图像特征 连接后通过所述点云到图像注意融合模块P2IAF得到点云权重特征 ;
所述点云权重特征 和混合图像的局部图像特征 连接后通过所述图像解码器得到图像分数;
所述图像权重特征 与三维点云的局部点云特征 连接后通过所述点云解码器得到点云分数;
所述重叠检测模块寻找点云分数和图像分数最相近的值,并将与之对应的三维点云和二维图像生成点云‑图像集合;
所述姿态校正网络的损失函数通过下式表示:
,
式中,为超参数, 为描述符损失函数, 为检测器损失函数, 为深度损失函数, 为正边界, 为负边界, 为正对的特征距离, 为负对的特征距离,R为所设置的安全距离,n为重叠区域3D点云和2D图像建立的集合 中的所有个数,和 分别为在重叠区域像素和点云的得分, 和 为在非重叠区域像素和点云的得分, 为第i个点云到相机的距离, 和 分别是点云距离的最大值和最小值; 为第i个深度图估计值的大小, 和 分别是深度图像估计值的最大值和最小值;
步骤三、利用EPnP算法对步骤二得到的点云‑图像集合进行求解,得到初次姿态矩阵 ;
步骤四、从步骤二的混合图像的局部图像特征 中提取深度特征,将对应的三维点云、二维图像和深度特征组合成新的集合 ,利用集合 得到变换矩阵 ,利用变换矩阵对步骤三得到的初次姿态矩阵 进行优化,得到最终的相机姿态矩阵。
2.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤二中所述图像到点云注意融合模块I2PAF包括图像注意力权重生成模块和图像特征权重生成模块,所述图像注意力权重生成模块包括MLP函数和第一Softmax函数,用于根据连接后的混合图像的全局图像特征 和三维点云的局部点云特征 得到图像注意力权重,所述图像特征权重生成模块用于将图像注意力权重和混合图像的局部特征 点乘得到图像权重特征 ;
步骤二中所述点云到图像注意融合模块P2IAF包括点云注意力权重生成模块和点云特征权重生成模块,所述点云注意力权重生成模块包括CNNS网络和第二Softmax函数,用于根据连接后的三维点云的全局点云特征 和混合图像的局部图像特征 得到点云注意力权重,所述点云特征权重生成模块用于将点云注意力权重和三维点云的局部点云特征 点乘后得到点云权重特征 。
3.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤二中所述点云解码器包括第一特征值模块和点云分数模块,所述第一特征值模块包括第一PointNet网络和第一上采样模块,用于根据连接后的混合图像的权重特征和三维点云的局部点云特征 得到第一特征值,所述点云分数模块包括第二PointNet网络和第二上采样模块,用于根据连接后的第一特征值、图像权重特征 和三维点云的局部点云特征 得到点云分数;
步骤二中所述图像解码器包括第二特征值模块和图像分数模块,所述第二特征值模块包括第二ResNet网络和第三上采样模块,用于根据连接后的三维点云的权重特征和混合图像的局部特征 得到第二特征值,所述图像分数模块包括第三ResNet网络和第四上采样模块,用于根据连接后的第二特征值、点云权重特征 和混合图像的局部图像特征 得到图像分数。
4.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤三中初次姿态矩阵 通过下式计算得到:,
式中, 表示三维参考点在世界坐标系中的坐标, 表示三维参考点的投影在摄像头参考坐标系中的坐标, ,n为三维参考点的总数, 和 分别表示四个控制点在世界坐标系和摄像头坐标系中的坐标, , 是齐次barycentric坐标,和 分别为三维参考点在世界坐标系和摄像头参考坐标系中的重心, 为摄像头的外参, 为旋转矩阵, 为平移矩阵,向量U和V通过对矩阵H进行SVD分解获得。
5.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤三中所述EPnP算法的损失函数通过下式表示: ,
式中, 和 分别表示点云在世界坐标系和摄像头坐标系中的坐标, 和 分别表示四个控制点在世界坐标系和摄像头坐标系中的坐标。
6.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤四中利用集合 得到变换矩阵 ,包括以下步骤:步骤41、利用相机内参矩阵K对三维点云进行投影,将三维点云的三维坐标转换为二维图像上的二维像素坐标,得到投影点云,获取投影点云在深度图投影位置上的深度值信息和点云投影距离;
步骤42、使用最小二乘法建立点云投影距离和深度值信息的拟合函数,然后利用平均池化的方法计算其损失值最小的最佳位移点;
步骤43、利用所述最佳位移点对投影点云进行位移调整;
步骤44、姿态变换:根据三维点云的投影位移,将其转换成三维点云在三维空间中的姿态变换,得到变换矩阵 。
7.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤四中最终的相机姿态矩阵 通过下式表示:,
式中, 为优化后的姿态矩阵, 为变换矩阵, 为初次姿态矩阵, 、 和 分别为三维点云在位移过程中相机姿态在 轴、 轴和 轴上选择的角度, 、 和分别为 、 和 的旋转矩阵。