1.一种数据融合方法,其特征在于,所述方法包括:
获得图像采集设备采集的图像,并获得基于雷达设备采集的点云数据生成的目标分辨率的第一深度图,其中,所述图像采集设备和雷达设备的采集时刻相同、采集区域相同,所述目标分辨率为所述图像的分辨率;
基于所述图像和第一深度图,进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图,并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数,其中,所述第一置信度图中每一像素点的像素值表示所述第二深度图中该像素点对应的深度值的置信度;
基于预测得到的参数和所述第一深度图进行深度图预测,得到所述目标分辨率的第三深度图和第二置信度图,其中,所述第二置信度图中每一像素点的像素值表示所述第三深度图中该像素点对应的深度值的置信度;
基于所述第一置信度图和第二置信度图,对所述第二深度图和第三深度图进行数据融合,得到所述图像对应的深度图。
2.根据权利要求1所述的方法,其特征在于,所述基于预测得到的参数和所述第一深度图进行深度图预测,得到所述目标分辨率的第三深度图和第二置信度图,包括:基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值,估算所述第一深度图中未知像素点对应的深度值,得到所述目标分辨率的第四深度图,其中,所述已知像素点为:基于所述点云数据生成深度值的像素点,所述未知像素点为:所述第一深度图中除所述已知像素点外的像素点;
针对所述第四深度图中的每一像素点,基于其他像素点对应的深度值调整该像素点对应的深度值,并获得该像素点对应的深度值为调整后深度值的置信度,得到所述目标分辨率的第三深度图和第二置信度图。
3.根据权利要求2所述的方法,其特征在于,在获得所述第一深度图之后,还包括:
生成用于反映所述第一深度图中所述已知像素点位置和所述未知像素点位置的掩膜图;
所述基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值,估算所述第一深度图中未知像素点对应的深度值,得到目标分辨率的第四深度图,包括:基于预测得到的参数以及所述第一深度图中已知像素点对应的深度值,估算所述第一深度图中各个像素点对应的深度值;
基于所述掩膜图,将所述第一深度图中已知像素点对应的深度值恢复为基于所述点云数据生成的深度值,得到所述目标分辨率的第四深度图。
4.根据权利要求3所述的方法,其特征在于,所述基于预测得到的参数以及所述第一深度图中已知像素点的深度值,估算所述第一深度图中的像素点的深度值,包括:按照以下公式估算所述第一深度图中各个像素点对应的深度值:
Dt+1=K(0,0)⊙D0+Σa*b≠0K(a,b)⊙Dt
其中,D0表示第一深度图中已知像素点的深度值,t表示估算第一深度图中各个像素点t
对应的深度值的迭代次数,D表示第t次迭代估算第一深度图中各个像素点对应的深度值,Dt+1表示第t+1次迭代估算第一深度图中各个像素点对应的深度值,K(a,b)、K(0,0)表示所述预测得到的参数,⊙表示相乘运算。
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述针对所述第四深度图中的每一像素点,基于其他像素点对应的深度值调整该像素点对应的深度值,并获得该像素点对应的深度值为调整后深度值的置信度,得到所述目标分辨率的第三深度图和第二置信度图,包括:将所述第四深度图输入至预设数量个串行连接的数据调整模型中,得到所述目标分辨率的第三深度图和第二置信度图;
其中,所述数据调整模型为:以第一样本深度图为输入、将第一样本深度图中各个像素点的真实深度值作为训练基准,对预设的神经网络模型训练得到的、且用于调整深度图中像素点对应的深度值并获得调整后深度值置信度的模型;
所述第一样本深度图为:基于样本参数以及第二样本深度图中第一像素点对应的深度值、估算第二样本深度图中第二像素点对应的深度值得到的样本深度图,所述第二样本深度图为:基于雷达设备采集的样本点云数据生成的样本深度图,所述样本参数为:基于图像采集设备采集的样本图像和所述第二样本深度图、预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数,所述第一像素点为:基于所述样本点云数据生成深度值的像素点,所述第二像素点为:所述第二样本深度图中除所述第一像素点外的像素点。
6.根据权利要求1所述的方法,其特征在于,所述基于所述图像和第一深度图,进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图,并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数,包括:对所述图像进行图像分析,得到反映所述采集区域所对应场景的场景信息;
基于所述场景信息和所述第一深度图进行深度预测,得到所述目标分辨率的第二深度图和第一置信度图;
基于所述场景信息和所述第一深度图,预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数。
7.根据权利要求1所述的方法,其特征在于,所述基于所述图像和第一深度图,进行深度图预测得到所述目标分辨率的第二深度图和第一置信度图,并预测所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数,包括:将所述图像和第一深度图输入至数据预测模型中,得到所述目标分辨率的第二深度图和第一置信度,并获得所述图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数;
其中,所述数据预测模型为:以第二样本深度图与样本图像为模型输入、且基于样本图像中各个像素点所对应深度值的损失值、对预设的神经网络模型进行参数调整得到的、且用于预测深度图、深度图中深度值的置信度以及像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数的模型,所述上述第二样本深度图为:基于雷达设备采集的样本点云数据生成的样本深度图,所述样本图像为:图像采集设备采集的样本图像。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一置信度图和第二置信度图,对所述第二深度图和第三深度图进行数据融合,得到所述图像对应的深度图,包括:基于所述第一置信度图对所述第二深度图中各个像素点对应的深度值进行调整,并基于所述第二置信度图对所述第三深度图中各个像素点对应的深度值进行调整;
计算调整后的第二深度图与调整后的第三深度图中各个像素点对应的深度值之和,得到第五深度图;
基于预测得到的参数和所述第一深度图,对所述第五深度图中各个像素点对应的深度值进行调整,得到所述图像对应的深度图。
9.根据权利要求8所述的方法,其特征在于
所述样本图像中各个像素点所对应深度值的损失值为:根据第一损失值、第二损失值和第三损失值进行加权计算得到的损失值;
其中,所述第一损失值为:所述样本图像中各个像素点对应的真实深度值与第三样本深度图中各个像素点对应的深度值间的交叉熵误差值,所述第三样本深度图为:基于所述样本图像和第二样本深度图、进行深度图预测得到的样本深度图;
所述第二损失值为:所述样本图像中各个像素点对应的真实深度值与第四样本深度图中各个像素点对应的深度值间的交叉熵误差值,所述第四样本深度图为:基于样本参数和所述第二样本深度图进行深度图预测得到的样本深度图,所述样本参数为:基于所述样本图像和所述第二样本深度图、预测所述样本图像中每一像素点对应的深度值向各预设方向的其他像素点对应的深度值扩散的参数;
所述第三损失值为:所述样本图像中各个像素点对应的真实深度值与第五样本深度图中各个像素点对应的深度值间的交叉熵误差值,所述第五样本深度图为:基于第一样本置信度图、第二样本置信度图对所述第三样本深度图和第四样本深度图进行数据融合得到的样本深度图,所述第一样本置信度图为:基于所述样本图像和所述第二样本深度图、进行深度图预测得到的样本置信度图,所述第二样本置信度图为:基于样本参数和所述第二样本深度图进行深度图预测得到的样本置信度图。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-9任一所述的方法步骤。