利索能及
我要发布
收藏
专利号: 201510752156X
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像的拼接方法,其特征在于,包括:

获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像,其中,所述第一图像为具有可见光信息的图像,所述第二图像为包括深度信息以及所述可见光信息的图像,所述第一摄像机与所述第二摄像机相邻设置,采集到的所述第一图像与所述第二图像存在重叠区域;

将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上,其中,所述扩展区域为所述第二图像中的像素点映射到所述第一图像之外的图像区域;

通过所述第二图像中的像素点的深度信息以及可见光信息,将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上,得到拼接图像。

2.根据权利要求1所述的方法,其特征在于,将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上的步骤包括:读取所述第二图像中的像素点在第二图像坐标系中的坐标信息;

使用坐标变换,将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息;

通过所述第二图像中的像素点在所述第一图像坐标系上的坐标信息,确定所述第二图像中的像素点在所述重叠区域和/或所述扩展区域的位置。

3.根据权利要求2所述的方法,其特征在于,使用坐标变换,将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息的步骤包括:将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第二摄像机坐标系,得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息;

将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系,得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息;

将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息映射至所述第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息。

4.根据权利要求3所述的方法,其特征在于,通过如下第一公式将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息m2(u2,v2)映射至所述第二摄像机坐标系,得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2);

其中,A2为所述第二摄相机的内参数;D2为所述第二图像的规模化系数。

5.根据权利要求4所述的方法,其特征在于,通过如下第二公式将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)映射至所述第一摄像机坐标系,得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1);

其中,R为所述第一摄像机坐标系与所述第二摄像机坐标系相对的旋转矩阵,t为所述第一摄像机坐标系与所述第二摄像机坐标系的相对的平移向量。

6.根据权利要求5所述的方法,其特征在于,通过如下第三公式将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)映射至所述第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息m1(u1,v1);

其中,A1为所述第一摄像机的内参数;D1为所述第一图像的规模化系数。

7.根据权利要求1所述的方法,其特征在于,通过所述第二图像中的像素点的深度信息以及可见光信息,将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上,得到拼接图像的步骤包括:当所述第二图像中的像素点映射至所述重叠区域时,将所述像素点在所述第一图像中的可见光信息以及所述像素点在所述第二图像中的可见光信息进行加权运算,将经过所述加权运算的可见光信息赋值给所述像素点在所述拼接图像中的所述重叠区域的可见光信息;

当所述第二图像中的像素点映射至所述扩展区域时,将所述像素点在所述第二图像中的可见光信息,赋值给所述像素点在所述拼接图像中的所述扩展区域的可见光信息。

8.根据权利要求2所述的方法,其特征在于,通过所述第二图像中的像素点的深度信息以及可见光信息,将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上,得到拼接图像的步骤包括:通过映射后的所述第二图像中的像素点在所述第一图像坐标系上的坐标信息,判断所述第二图像中的多个像素点是否同时映射到所述重叠区域和/或所述扩展区域的同一像素点上;

当所述第二图像中的多个像素点同时映射到所述重叠区域和/或所述扩展区域的同一像素点时,根据所述第二图像中的多个像素点的多个深度信息,确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。

9.根据权利要求8所述的方法,其特征在于,根据所述第二图像中的多个像素点的多个深度信息,确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息的步骤包括:对比所述第二图像中的多个像素点的所述多个深度信息,将所述多个深度信息中深度信息最小的像素点的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息;或者对所述第二图像中的多个像素点的可见光信息进行加权运算,将经过所述加权运算的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。

10.一种图像的拼接装置,其特征在于,包括:

获取单元,用于获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像,其中,所述第一图像为具有可见光信息的图像,所述第二图像为包括深度信息以及可见光信息的图像,所述第一摄像机与所述第二摄像机相邻设置,采集到的所述第一图像与所述第二图像存在重叠区域;

映射单元,用于将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上,其中,所述扩展区域为所述第二图像中的像素点映射到所述第一图像之外的图像区域;

拼接单元,用于通过所述第二图像中的像素点的深度信息以及可见光信息,将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上,得到拼接图像。

11.根据权利要求10所述的装置,其特征在于,所述映射单元包括:

读取模块,用于读取所述第二图像中的像素点在第二图像坐标系中的坐标信息;

坐标变换模块,用于使用坐标变换,将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息;

确定模块,用于通过所述第二图像中的像素点在所述第一图像坐标系上的坐标信息,确定所述第二图像中的像素点在所述重叠区域和/或所述扩展区域的位置。

12.根据权利要求11所述的装置,其特征在于,所述坐标变换模块包括:

第一映射子模块,用于将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第二摄像机坐标系,得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息;

第二映射子模块,用于将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系,得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息;

第三映射子模块,用于将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息映射至所述第一图像坐标系,得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息。

13.根据权利要求12所述的装置,其特征在于,所述第一映射子模块通过如下第一公式计算得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2);

其中,A2为所述第二摄相机的内参数;D2为所述第二图像的规模化系数。

14.根据权利要求13所述的装置,其特征在于,所述第二映射子模块通过如下第二公式计算得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1);

其中,R为所述第一摄像机坐标系与所述第二摄像机坐标系相对的旋转矩阵,t为所述第一摄像机坐标系与所述第二摄像机坐标系的相对的平移向量。

15.根据权利要求14所述的装置,其特征在于,所述第三映射子模块通过如下第三公式计算得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息m1(u1,v1);

其中,A1为所述第一摄像机的内参数;D1为所述第一图像的规模化系数。

16.根据权利要求10所述的装置,其特征在于,所述拼接单元包括:

第一拼接模块,用于当所述第二图像中的像素点映射至所述重叠区域时,将所述像素点在所述第一图像中的可见光信息以及所述像素点在所述第二图像中的可见光信息进行加权运算,将经过所述加权运算的可见光信息赋值给所述像素点在所述拼接图像中的所述重叠区域的可见光信息;

第二拼接模块,用于当所述第二图像中的像素点映射至所述扩展区域时,将所述像素点在所述第二图像中的可见光信息,赋值给所述像素点在所述拼接图像中的所述扩展区域的可见光信息。

17.根据权利要求16所述的装置,其特征在于,所述拼接单元包括:

判断模块,用于通过映射后的所述第二图像中的像素点在所述第一图像坐标系上的坐标信息,判断所述第二图像中的多个像素点是否同时映射到所述重叠区域和/或所述扩展区域的同一像素点上;

确定模块,用于当所述第二图像中的多个像素点同时映射到所述重叠区域和/或所述扩展区域的同一像素点时,根据所述第二图像中的多个像素点的多个深度信息,确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。

18.根据权利要求17所述的装置,其特征在于,所述确定模块包括:

对比子模块,用于对比所述第二图像中的多个像素点的所述多个深度信息,将所述多个深度信息中深度信息最小的像素点的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息;

加权子模块,用于对所述第二图像中的多个像素点的可见光信息进行加权运算,将经过所述加权运算的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。