利索能及
我要发布
收藏
专利号: 2023102278063
申请人: 广州沃佳科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多视图的物体三维重建方法,其特征在于,包括:

获取目标物体的图像集,其中,所述图像集包含有目标物体处于不同角度下的拍摄图像;

基于所述图像集,确定出所述图像集中每张拍摄图像对应拍摄相机的相机位置参数;

依据所述图像集和每张拍摄图像对应拍摄相机的相机位置参数,确定出每张拍摄图像的最优深度图,并将所有拍摄图像的最优深度图进行深度融合,以得到目标物体的稠密点云模型;

对所述稠密点云模型进行三维重建处理,得到所述目标物体的三维模型;

依据所述图像集和每张拍摄图像对应拍摄相机的相机位置参数,确定出每张拍摄图像的最优深度图,包括:对于所述图像集中的第i张拍摄图像,利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,得到校正图像,其中,所述目标图像为所述图像集中去除所述第i张拍摄图像后所剩余的拍摄图像,且校正图像的拍摄角度与第i张拍摄图像的拍摄角度相同;

对于所述第i张拍摄图像中的第l个像素点,确定出第l个像素点的深度像素区域;

基于所述第l个像素点的深度像素区域以及所述校正图像,计算出所述第l个像素点的最优深度值;

将l自加1,并重新确定出所述第l个像素点的深度像素区域,直至l等于L时,得到所述第i张拍摄图像中所有像素点的最优深度值,以便利用第i张拍摄图像中所有像素点的最优深度值得到所述第i张拍摄图像的最优深度图,其中,l的初始值为1,且L为所述第i张拍摄图像中像素点的总数量;

将i自加1,并重新利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,直至i等于n时,得到每张拍摄图像的最优深度图,其中,i的初始值为1,且n为图像集中拍摄图像的总数量;

每张拍摄图像对应拍摄相机的相机位置参数均包括有:第二内参矩阵、第二旋转矩阵以及第二平移运动距离;

其中,利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,得到校正图像,包括:对于目标图像中的第m张目标图像,利用所述第i张拍摄图像的相机位置参数,并采用如下公式(2),对所述第m张目标图像进行视角校正,得到所述第m张目标图像对应的校正图像;

m′

上述式(2)中,I 表示第m张目标图像对应的校正图像,K′、t′和R′依次表示所述第i张拍摄图像的相机位置参数中的第二内参矩阵、第二平移运动距离和第二旋转矩阵, 表示m深度假设值,N表示所述第i张拍摄图像的主轴方向矩阵,T表示转置运算,I表示第m张目标图像,m=1,2,...,M,M为目标图像的总数量。

2.根据权利要求1所述的方法,其特征在于,基于所述图像集,确定出所述图像集中每张拍摄图像对应拍摄相机的相机位置参数,包括:对于所述图像集中的第i张拍摄图像和第i+1张拍摄图像,对所述第i张拍摄图像和所述第i+1张拍摄图像进行特征提取处理,得到所述第i张拍摄图像和所述第i+1张拍摄图像的特征点,以利用所述第i张拍摄图像和所述第i+1张拍摄图像的特征点,组成特征点集合;

基于所述特征点集合,对所述特征点集合中的各个特征点进行特征匹配,得到若干匹配特征对,其中,所述若干匹配特征对中的任一匹配特征对包括两个特征点,且所述任一匹配特征对中的两个特征点用于表征所述目标物体的同一位置;

基于所述若干匹配特征对,计算出所述第i张拍摄图像对应拍摄相机与所述第i+1张拍摄图像对应拍摄相机之间的共同位置参数;

利用所述共同位置参数,确定出所述第i张拍摄图像对应拍摄相机的相机位置参数,以及所述第i+1张拍摄图像对应拍摄相机的相机位置参数;

将i自加1,并重新对所述第i张拍摄图像和所述第i+1张拍摄图像进行特征提取处理,直至i等于n‑1时,得到每张拍摄图像对应拍摄相机的相机位置参数,其中,i的初始值为1,且n为所述图像集中拍摄图像的总数量。

3.根据权利要求2所述的方法,其特征在于,基于所述若干匹配特征对,计算出所述第i张拍摄图像对应拍摄相机与所述第i+1张拍摄图像对应拍摄相机之间的共同位置参数,包括:基于每个匹配特征对,并按照如下公式(1),构建出每个匹配特征对的相机位置约束方程;

上述式(1)中,Pa1和Pa2分别表示第a个匹配特征对内的两特征点的坐标矩阵,K、t和R依次表示第i张拍摄图像对应拍摄相机与所述第i+1张拍摄图像对应拍摄相机之间的第一内参矩阵、第一平移运动距离和第一旋转矩阵,T表示转置运算,a=1,2,..,A,且A表示所述特征对的总数量;

依据若干相机位置约束方程,计算得出所述第i张拍摄图像对应拍摄相机与所述第i+1张拍摄图像对应拍摄相机之间的第一内参矩阵、第一平移运动距离以及第一旋转矩阵;

利用所述第一内参矩阵、所述第一平移运动距离以及所述第一旋转矩阵,组成所述共同位置参数。

4.根据权利要求1所述的方法,其特征在于,基于所述第l个像素点的深度像素区域以及所述校正图像,计算出所述第l个像素点的最优深度值,包括:基于所述第l个像素点的深度像素区域以及所述校正图像,并采用如下公式(3),计算出所述第l个像素点的最优深度值;

上述式(3)中,θl′表示第l个像素点的最优深度值,Sl(m)为相似度的概率函数, 为第l个像素点的深度像素区域,与第m个校正图像中目标区域之间的颜色相似度, 表示深度假设值,M表示校正图像的总数量,argmin表示 取值最小时所对应的深度假设值,其中,所述目标区域在第m个校正图像中所表征的位置,与所述第l个像素点的深度像素区域在所述第i张拍摄图像中所表征的位置相同,且 设置有多个。

5.根据权利要求1所述的方法,其特征在于,对所述稠密点云模型进行三维重建处理,得到所述目标物体的三维模型,包括:采用随机下采样算法,对所述稠密点云模型进行点云下采样处理,得到压缩后的点云模型;

采用泊松面片重建算法,对所述压缩后的点云模型进行面片重建,得到所述目标物体的三维模型。

6.一种基于多视图的物体三维重建装置,其特征在于,包括:

图像获取单元,用于获取目标物体的图像集,其中,所述图像集包含有目标物体处于不同角度下的拍摄图像;

相机参数确定单元,用于基于所述图像集,确定出所述图像集中每张拍摄图像对应拍摄相机的相机位置参数;

深度融合单元,用于依据所述图像集和每张拍摄图像对应拍摄相机的相机位置参数,确定出每张拍摄图像的最优深度图,并将所有拍摄图像的最优深度图进行深度融合,以得到目标物体的稠密点云模型;

三维重建单元,用于对所述稠密点云模型进行三维重建处理,得到目标物体的三维模型;

依据所述图像集和每张拍摄图像对应拍摄相机的相机位置参数,确定出每张拍摄图像的最优深度图,包括:对于所述图像集中的第i张拍摄图像,利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,得到校正图像,其中,所述目标图像为所述图像集中去除所述第i张拍摄图像后所剩余的拍摄图像,且校正图像的拍摄角度与第i张拍摄图像的拍摄角度相同;

对于所述第i张拍摄图像中的第l个像素点,确定出第l个像素点的深度像素区域;

基于所述第l个像素点的深度像素区域以及所述校正图像,计算出所述第l个像素点的最优深度值;

将l自加1,并重新确定出所述第l个像素点的深度像素区域,直至l等于L时,得到所述第i张拍摄图像中所有像素点的最优深度值,以便利用第i张拍摄图像中所有像素点的最优深度值得到所述第i张拍摄图像的最优深度图,其中,l的初始值为1,且L为所述第i张拍摄图像中像素点的总数量;

将i自加1,并重新利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,直至i等于n时,得到每张拍摄图像的最优深度图,其中,i的初始值为1,且n为图像集中拍摄图像的总数量;

每张拍摄图像对应拍摄相机的相机位置参数均包括有:第二内参矩阵、第二旋转矩阵以及第二平移运动距离;

其中,利用所述第i张拍摄图像的相机位置参数,对目标图像进行视角校正,得到校正图像,包括:对于目标图像中的第m张目标图像,利用所述第i张拍摄图像的相机位置参数,并采用如下公式(2),对所述第m张目标图像进行视角校正,得到所述第m张目标图像对应的校正图像;

m′

上述式(2)中,I 表示第m张目标图像对应的校正图像,K′、t′和R′依次表示所述第i张拍摄图像的相机位置参数中的第二内参矩阵、第二平移运动距离和第二旋转矩阵, 表示m深度假设值,N表示所述第i张拍摄图像的主轴方向矩阵,T表示转置运算,I表示第m张目标图像,m=1,2,...,M,M为目标图像的总数量。

7.一种电子设备,其特征在于,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1~5任意一项所述的基于多视图的物体三维重建方法。

8.一种存储介质,其特征在于,所述存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~5任意一项所述的基于多视图的物体三维重建方法。