1.一种深度图像采集装置,其特征在于,包括:发射模组,用于发射散斑阵列到目标物,其中所述散斑阵列包括p个互相间隔的散斑;
接收模组,所述接收模组包括图像传感器,所述图像传感器包括传感器阵列,所述传感器阵列包括m*n个像素单元,其中每个像素单元包括CMOS光电二极管和光电信号读取电路,所述光电二极管用于接收经所述目标物反射的所述散斑阵列,并根据所述散斑阵列生成对应的光电流信号,所述光电流信号指示的电流强度与所述光电二极管所接收光束照射的光强正相关,所述光电信号读取电路用于读取所述光电流信号并输出对应的像素信号;
处理单元,用于接收所述像素信号并根据所述像素信号生成稀疏深度图,散斑的个数p指示所述稀疏深度图的分辨率,所述处理单元还用于将分辨率为a*b的RGB图像与所述稀疏深度图进行对齐,并利用预先训练的图像融合模型,将对齐后的稀疏深度图和RGB图进行融合,得到稠密深度图,其中所述稠密深度图的分辨率为a*b。
2.根据权利要求1所述的深度图像采集装置,其特征在于,所述发射模组包括含有q个发光点的发光阵列和发光驱动电路,所述发光驱动电路受控于发射脉冲信号而驱动所述q个发光点发光以产生所述p个互相间隔的散斑,其中p=s*q,s为大于或等于1的整数。
3.根据权利要求2所述的深度图像采集装置,其特征在于,所述光电信号读取电路受控于读取控制信号以输出所述像素信号,其中每个像素单元的像素信号包括第一相位像素信号、第二相位像素信号、第三相位像素信号和第四相位像素信号,其中得到所述第一相位像素信号、所述第二相位像素信号、所述第三相位像素信号和所述第四相位像素信号分别所对应的所述读取控制信号之间相位差依次为90º,所述处理单元根据所述第一相位像素信号、所述第二相位像素信号、所述第三相位像素信号和所述第四相位像素信号生成所述稀疏深度图,所述得到所述第一相位像素信号所对应的读取控制信号的相位与所述发射脉冲的相位相同。
4.根据权利要求3所述的深度图像采集装置,其特征在于,所述光电信号读取电路仅读取所述散斑照射到的像素行的所有像素单元。
5.根据权利要求3所述的深度图像采集装置,其特征在于,所述处理单元具体用于:对所述稀疏深度图和所述RGB图进行对齐。
6.根据权利要求3所述的深度图像采集装置,其特征在于,所述处理单元还用于:获取训练样本,所述训练样本包括对齐的分辨率为p的稀疏深度图样本和分辨率为a*b的RGB图样本、以及分辨率为a*b的稠密深度图样本,相应地,所述处理单元具体用于:以对齐的稀疏深度图样本和RGB图样本作为输入,以所述稠密深度图样本作为监督条件,对目标神经网络进行训练,得到所述图像融合模型。
7.根据权利要求6所述的深度图像采集装置,其特征在于,所述处理单元具体用于:将对齐后的稀疏深度图和RGB图输入到预先训练的图像融合模型,得到稠密深度图。
8.根据权利要求1所述的深度图像采集装置,其特征在于,所述处理单元还用于:获取终端设备中安装的三维图像应用程序的图像获取指令,所述图像获取指令指示所述接收模组和所述发射模组分别对所述稀疏深度图和所述RGB图进行采集;
将所述稠密深度图返回到所述三维图像应用程序,以使所述三维图像应用程序基于所述稠密深度图获取三维图像信息。
9.根据权利要求8所述的深度图像采集装置,其特征在于,所述三维图像应用程序包括图像背景虚化应用、三维图像重建应用、虚拟现实应用或增强现实应用中的任一者。
10.一种终端设备,其特征在于,包括:深度相机,基于IToF原理采集分辨率为p的稀疏深度图;
RGB相机,采集分辨率为a*b的RGB图;
存储器,存储预先训练的图像融合模型;
处理器,对所述分辨率为p的稀疏深度图和所述分辨率为a*b的RGB图进行对齐,并且利用所述图像融合模型,将对齐后的稀疏深度图和RGB图进行融合,得到分辨率为a*b的稠密深度图。
11.根据权利要求10所述的终端设备,其特征在于,所述深度相机设置有形成为m*n个像素单元的点光源阵列,所述深度相机具体用于:通过所述形成为m*n个像素单元的点光源阵列针对目标区域发出具有第一相位的探测光线,并且获取所述探测光线的具有第二相位的反射光线,并且至少基于所述探测光线的第一相位的灰度图和所述反射光线的第二相位的灰度图之间的差异,确定所述分辨率为p的稀疏深度图。
12.一种深度图像融合方法,其特征在于,应用于包括深度相机和RGB相机的终端设备,所述方法包括:
利用所述深度相机基于IToF原理采集分辨率为p的稀疏深度图,并且利用所述RGB相机采集分辨率为a*b的RGB图;
对所述分辨率为p的稀疏深度图和所述分辨率为a*b的RGB图进行对齐;
利用预先训练的图像融合模型,将对齐后的稀疏深度图和RGB图进行融合,得到分辨率为a*b的稠密深度图。
13.根据权利要求12所述的方法,其特征在于,所述对所述分辨率为p的稀疏深度图和所述分辨率为a*b的RGB图进行对齐,包括:根据针对所述深度相机和所述RGB相机标定的相机参数,对所述分辨率为p的稀疏深度图和所述分辨率为a*b的RGB图进行对齐。
14.根据权利要求12所述的方法,其特征在于,所述深度相机中设置有点光源阵列,相应地,所述利用所述深度相机基于IToF原理采集分辨率为p的稀疏深度图,包括:通过所述点光源阵列针对目标区域发出具有第一相位的探测光线,并且获取所述探测光线的具有第二相位的反射光线;
至少基于所述探测光线的第一相位的灰度图和所述反射光线的第二相位的灰度图之间的差异,确定所述分辨率为p的稀疏深度图。
15.根据权利要求12所述的方法,其特征在于,所述图像融合模型通过如下方式训练得到:获取训练样本,所述训练样本包括对齐的分辨率为p的稀疏深度图样本和分辨率为a*b的RGB图样本、以及分辨率为a*b的稠密深度图样本;
以对齐的稀疏深度图样本和RGB图样本作为输入,以所述稠密深度图样本作为监督条件,对目标神经网络进行训练,得到所述图像融合模型。
16.根据权利要求15所述的方法,其特征在于,所述利用预先训练的图像融合模型,将对齐后的稀疏深度图和RGB图进行融合,得到分辨率为a*b的稠密深度图,包括:将对齐后的稀疏深度图和RGB图输入到预先训练的图像融合模型,得到分辨率为a*b的稠密深度图。