1.一种语义分割模型训练方法,包括:基于初始语义分割模型的深度估计网络与语义分割网络,确定样本图片的深度图与二维分割结果图;
基于所述样本图片的深度图确定3D点云,并针对所述3D点云进行语义分割,得到所述样本图片的三维分割结果图;
基于所述二维分割结果图、三维分割结果图,以及预定的损失函数,确定损失函数值,所述预定的损失函数包括一致性损失函数,所述一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失;
基于确定的损失函数值更新所述初始语义分割模型的模型参数,直至收敛,得到目标语义分割模型。
2.根据权利要求1所述的方法,其中,所述一致性损失函数为:其中, 表示所述样本图片的像素点对应的2D语义分割结果, 表示所述样本图片的像素点对应的3D语义分割结果。
3.根据权利要求1所述的方法,其中,所述基于所述二维分割结果图、三维分割结果图,以及预定的损失函数,确定损失函数值,包括:基于所述二维分割结果图、三维分割结果图、深度图与样本图片的二维分割标签、三维分割标签、深度信息标签,以及预定的损失函数,确定损失函数值;其中,所述预定的损失函数还包括:二维损失函数、三维损失函数、深度损失函数。
4.根据权利要求1所述的方法,其中,所述基于所述样本图片的深度图确定3D点云,包括:
基于所述样本图片对应的相机的内参以及深度图,将所述深度图转换为3D点云。
5.根据权利要求1所述的方法,其中,所述基于所述样本图片对应的相机的内参以及深度图,将所述深度图转换为3D点云,包括:通过如下公式:
将深度图转换为3D点云;其中,d是每个像素点(u,v)对应的深度,K为相机的内参,Pc为相机坐标系下的3D坐标[Xc,Yc,Zc]。
6.根据权利要求1所述的方法,其中,针对所述3D点云进行语义分割,得到所述样本图片的三维分割结果图,包括:
基于预定的3D点云语义分割网络,得到所述3D点云的语义分割结果。
7.一种语义分割方法,包括:
确定待分割目标图像;
将所述待分割目标图像输入至权利要求1‑6任一项训练的所述目标语义分割模型,得到所述待分割目标图像的语义分割结果。
8.根据权利要求1所述的方法,其中,该方法还包括:将所述待分割目标图像输入至权利要求1‑6任一项所述目标语义分割模型,得到所述待分割目标图像的深度图。
9.一种语义分割模型训练装置,包括:第一确定模块,用于基于初始语义分割模型的深度估计网络与语义分割网络,确定样本图片的深度图与二维分割结果图;
3D语义分割模块,用于基于所述样本图片的深度图确定3D点云,并针对所述3D点云进行语义分割,得到所述样本图片的三维分割结果图;
损失值确定模块,用于基于所述二维分割结果图、三维分割结果图,以及预定的损失函数,确定损失函数值,所述预定的损失函数包括一致性损失函数,所述一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失;
更新模块,用于基于确定的损失函数值更新所述初始语义分割模型的模型参数,直至收敛,得到目标语义分割模型。
10.根据权利要求9所述的装置,其中,所述一致性损失函数为:其中, 表示所述样本图片的像素点对应的2D语义分割结果, 表示所述样本图片的像素点对应的3D语义分割结果。
11.根据权利要求9所述的装置,其中,所述损失值确定模块,具体用于基于所述二维分割结果图、三维分割结果图、深度图与样本图片的二维分割标签、三维分割标签、深度信息标签,以及预定的损失函数,确定损失函数值;其中,所述预定的损失函数还包括:二维损失函数、三维损失函数、深度损失函数。
12.根据权利要求9所述的装置,其中,该装置还包括:转换模块,用于基于所述样本图片对应的相机的内参以及深度图,将所述深度图转换为3D点云。
13.根据权利要求9所述的方法,其中,所述转换模块,具体用于通过如下公式:将深度图转换为3D点云;其中,d是每个像素点(u,v)对应的深度,K为相机的内参,Pc为相机坐标系下的3D坐标[Xc,Yc,Zc]。
14.根据权利要求9所述的装置,其中,所述3D语义分割模块,具体用于基于预定的3D点云语义分割网络,得到所述3D点云的语义分割结果。
15.一种语义分割装置,包括:第二确定模块,用于确定待分割目标图像;
得到模块,用于将所述待分割目标图像输入至权利要求1‑6任一项训练的所述目标语义分割模型,得到所述待分割目标图像的语义分割结果。
16.根据权利要求1所述的方法,其中,所述得到模块,还用于将所述待分割目标图像输入至权利要求1‑6任一项所述目标语义分割模型,得到所述待分割目标图像的深度图。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑8中任一项所述的方法。