1.一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,包括以下步骤:S1.将待估计图像和毫米波雷达数据输入稀疏‑粗糙编码网络,分别提取特征后融合,得到第一融合特征图;
S2.将稀疏‑粗糙编码网络得到的第一融合特征图输入稀疏‑粗糙解码网络,解码得到粗糙深度图;
S3.通过特征融合模块将稀疏‑粗糙解码网络中的解码特征融合到粗糙‑精细编码网络;将粗糙深度图输入粗糙‑精细编码网络,得到第二融合特征图;
所述特征融合模块,用于计算注意力向量,引导粗糙‑精细编码网络特征的学习;
所述解码特征,由稀疏‑粗糙解码网络中的残差模块产生;
S4.将粗糙‑精细编码网络得到的第二融合特征图输入粗糙‑精细解码网络,解码得到最后的预测深度图。
2.如权利要求1所述的一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,所述稀疏‑粗糙编码网络采用双编码器结构,包括图像编码器和深度编码器;其中所述图像编码器为预先训练过并去除了全连接层的ResNet‑34网络;所述深度编码器,包括稀疏前置映射模块和残差模块,通过稀疏前置映射模块提取毫米波雷达数据的初步特征,再采用残差模块进一步提取特征。
3.如权利要求1或2所述的一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,所述稀疏‑精细编码网络,采用单编码器结构。
4.如权利要求1或2所述的一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,在训练过程中,采用基于二进制掩膜的滤波‑插值方式构建标签数据进行监督;所述基于二进制掩膜的滤波‑插值方式为:a、聚集多帧激光雷达数据;
b、基于二进制掩膜的滤波算法滤除异常点,得到滤波后的激光雷达数据L';
c、以滤波后的激光雷达数据L'和稀疏掩膜mL为输入进行基于二进制掩膜的插值,得到稠密的深度标签数据;
d、随机采样,得到最终的深度标签数据。
5.如权利要求4所述的一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,基于二进制掩膜的滤波算法滤除异常点的方法为:首先使用稀疏掩膜mL屏蔽激光雷达数据L中的非观测点;然后在大小为n×m的区域S内求得观测点深度的均值;最后通过判断观测点深度与均值的差是否大于阈值来决定其是否为异常值;
基于二进制掩膜的滤波算法g的计算公式如下:
其中,M=n×m,n的取值范围为[30,50],m的取值范围为[40,60],ave(p,q)表示当前位置(p,q)处的均值,L(p,q)、L(x,y)分别表示当前位置(p,q)、(x,y)处的激光雷达数据值,ε为设置的阈值,S为大小为n×m的滤波器窗口,(x,y)表示滤波器窗口内激光雷达数据的位置,mL(x,y)为位置(x,y)处的二进制掩膜值。
6.如权利要求4或5所述的一种基于视觉和毫米波雷达的融合深度估计方法,其特征在于,以滤波后的激光雷达数据L'和稀疏掩膜mL为输入进行基于二进制掩膜的插值的方法为:首先使用稀疏掩码1‑mL屏蔽滤波后的激光雷达数据L'中的观测点,仅对非观测点进行插值;设定x和y方向上的步长分别为Tx和Ty,以设定的步长遍历屏蔽后的非观测点,以遍历到的非观测点为中心在大小为(a,b)的窗口内寻找最近邻,其中,a的取值范围为[15,25],b的取值范围为[2,5];
二进制掩膜的插值算法f公式表示为:
其中,Nearest(p,q)表示在以(p,q)为中心在大小为(a,b)的窗口内搜寻最近邻观测点,L'(p,q)表示当前位置(p,q)处滤波后的激光雷达数据值。