1.一种基于雨天自动驾驶的雷达相机融合方法,其特征在于,包括以下步骤:获取街道样本相机数据,对所述样本相机数据进行雨滴模拟,形成训练数据集,包括:获取街道样本相机数据,采用高斯分布对所述样本相机数据生成随机噪音,并利用仿射变化模拟雨天条件,得到街道模拟雨天的含噪声数据集;将所述样本相机数据与含噪声数据集中的图像进行一一对应,形成含噪声和不含噪声的图像对,得到训练数据集,用于进行去雨网络架构的训练;
结合深度展开网络与近端梯度下降算法搭建多阶段迭代的去雨网络架构,包括:将去雨过程以优化函数minwg(w)+h(w)表示,其中,g(w)、h(w)分别对应可微函数和不可微函数;
对可微函数g(w)计算梯度下降过程,即对于变量w以t为步长的梯度下降结果对不可微函数h(w),通过梯度下降结果z计算变量z以t为步长的近端算子proxth(·)(z);将输出的近端算子proxth(·)(z)作为变量输入,重复迭代计算不可微函数,直至得到优化函数的最小值;并采用所述训练数据集对所述去雨网络架构进行训练得到去雨网络模型;
获取待测街道雨天相机数据,输入至所述去雨网络模型,得到去雨图像数据;
获取所述待测街道雨天相机数据对应的雷达点云数据并进行预处理,得到有效点云数据;
基于centemet网络和瓶颈注意力机制,搭建雷达相机融合网络架构,训练得到雷达相机融合网络模型;
将所述去雨图像数据和对应的有效点云数据,输入至所述雷达相机融合模型,进行两次回归检测,融合两次回归检测的回归信息,得到目标检测结果。
2.根据权利要求1所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述去雨网络模型包括七个阶段的迭代网络,每个阶段的迭代网络均包括连接的梯度下降模块、内部融合模块和段间融合模块,构成编码器‑解码器网络;其中,所述梯度下降模块用于模拟去雨阶段的梯度下降过程;所述内部融合模块用于融合阶段内的特征信息;所述段间融合模块用于融合当前阶段和上一阶段的特征信息。
3.根据权利要求2所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述编码器‑解码器网络内部为三个尺度特征的金字塔特征,输入特征传输至通道注意力机制模块,获取当前阶段的全局特征;将三个尺度特征分别传输至所述段间融合模块,将当前阶段和上一阶段的特征信息进行融合;并将后两个尺度特征与第一个尺度特征的全局特征传入所述内部融合模块进行阶段内特征融合。
4.根据权利要求3所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述内部融合模块包括:将当前尺度的编码特征传入至残差模块,所述残差模块用于通过空洞卷积提取当前编码特征;
将输出特征与获取的全局特征融合,得到当前阶段各尺度特征的融合特征。
5.根据权利要求1所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述获取所述待测街道雨天相机数据对应的雷达点云数据并进行预处理,得到有效点云数据,包括:获取所述待测街道雨天相机数据对应的雷达点云数据,采用点云膨胀算法对所述雷达点云数据进行膨胀;
遍历膨胀后的雷达点云数据进行坐标变换,并根据坐标变换结果进行点云过滤;
遍历过滤后的点云数据,根据预设尺寸生成每个点云的柱体,并将柱体坐标移动至点云中心位置,得到扩张后的点云数据;
采用centernet网络对所述扩张后的点云数据进行目标检测,并根据检测框对检测出的目标生成截锥体,匹配并过滤空间点云信息,输出得到有效点云数据。
6.根据权利要求5所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述遍历膨胀后的雷达点云数据进行坐标变换,并根据坐标变换结果进行点云过滤,包括:通过毫米波雷达外参、相机外参以及传感器和车身的姿态信息组成的旋转平移参数进行刚体变换转移到相机坐标系;
根据相机内参将所述雷达点云数据投影至图像平面,通过坐标转换转移到像素坐标系中;
根据预设最大点云距离进行点云过滤,并将过滤后的点云图像与对应的所述去雨图像数据进行对齐,过滤投影到相机图像像素平面外的点云,得到过滤后的点云数据。
7.根据权利要求5所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述采用centernet网络对点云数据进行目标检测,并根据检测框对检测出的目标生成截锥体,匹配并过滤空间点云信息,输出得到有效点云数据,包括:通过centernet网络对点云数据进行目标检测,得到检测出的目标,所述centernet网络的分层深度聚合的层次分别设置为1、1、1、2、2和1;
在训练阶段和测试阶段,采用检测框对检测出的目标生成截锥体,其中,在测试阶段,设置有深度补偿参数;
遍历点云数据,过滤所述截锥体外的点云信息,输出得到有效点云数据。
8.根据权利要求1所述的基于雨天自动驾驶的雷达相机融合方法,其特征在于,所述将所述去雨图像数据和对应的有效点云数据,输入至所述雷达相机融合模型,进行两次回归检测,融合两次回归检测的回归信息,得到目标检测结果,包括:基于centernet网络对所述去雨图像数据进行目标检测,得到首次回归信息,所述首次回归信息包括深度、热力图、宽高、偏移量、角度和维度信息;
根据所述有效点云数据生成热图信息,所述热图信息包括雷达通道目标RCS信息、深度、速度和速度分量;
拼接所述热图信息与去雨图像数据的热图,通过瓶颈注意力机制,进行空间注意力和通道注意力的匹配,得到输出特征;
通过centernet网络对所述输出特征进行二次回归,得到二次回归信息,所述二次回归信息包括属性、角度、深度和速度;
结合首次回归信息和二次回归信息调整检测框,通过调整后的检测框得到目标检测结果。