利索能及
我要发布
收藏
专利号: 2017106559997
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种全景图像生成方法,其特征在于,包括:获取二维平面图像;

根据预先建立的映射关系,确定预设立体模型中的各个网格点映射到所述二维平面图像中的像素点;其中,所述映射关系中包含所述预设立体模型中各个网格点与二维平面图像中像素点的对应关系;

针对所述预设立体模型中的每个网格平面,将该网格平面中各个网格点映射到的像素点构成的像素区域确定为该网格平面对应的像素区域;其中,一个网格平面由第一预设数量个网格点构成;

对于每个网格平面,用该网格平面对应的像素区域进行渲染,得到全景图像。

2.根据权利要求1所述的方法,其特征在于,建立所述映射关系的过程包括:确定所述预设立体模型中的网格点;

针对所确定的每个网格点,确定该网格点与预设投影点之间的投影线;其中,所述投影点位于所述预设立体模型的俯视鸟瞰平面的上方,所述投影线以所述投影点为起点,且穿过该网格点;

确定所述投影线与所述俯视鸟瞰平面的交点;

将所述交点转换为俯视鸟瞰像素点;

根据采集所述二维平面图像的相机的外参,对所述俯视鸟瞰像素点进行透视逆变换,得到畸变校正像素点;

根据所述相机的内参,对所述畸变校正像素点进行畸变校正逆运算,得到二维平面像素点;

根据每个网格点及其对应的二维平面像素点,建立所述映射关系。

3.根据权利要求2所述的方法,其特征在于,所述将所述交点转换为俯视鸟瞰像素点的步骤,包括:根据预先设定的转换系数,将所述交点转换为俯视鸟瞰像素点。

4.根据权利要求2所述的方法,其特征在于,所述确定所述预设立体模型中的网格点的步骤,包括:在所述预设立体模型中划分经纬度;

根据划分结果,确定所述模型中的每个网格点、每个网格点的经度值和纬度值、以及每个网格点在所述预设立体模型中的三维坐标值;

所述根据每个网格点及其对应的二维平面像素点,建立所述映射关系的步骤,包括:针对每个网格点,以该网格点的经度值和纬度值为索引,建立该网格点的三维坐标值与其对应的二维平面像素点的像素坐标值之间的映射关系;

所述根据预先建立的映射关系,确定预设立体模型中的各个网格点映射到所述二维平面图像中的像素点的步骤,包括:基于所述索引,依次确定当前待映射网格点;

针对每个当前待映射网格点,确定该当前网格点的三维坐标值及其对应的像素坐标值,所确定的像素坐标值为该当前网格点映射到所述二维平面图像中像素点的坐标值;

所述对于每个网格平面,用该网格平面对应的像素区域进行渲染,得到全景图像的步骤,包括:分别将每个网格平面作为待渲染平面;

根据所述待渲染平面中包含的各个网格点的三维坐标值,在所述预设立体模型中确定待渲染位置;

根据所述待渲染平面中包含的各个网格点的三维坐标值对应的像素坐标值,在所述二维平面图像中确定目标区域;

利用所述目标区域对所述待渲染位置进行渲染,得到全景图像。

5.根据权利要求4所述的方法,其特征在于,所述在所述预设立体模型中划分经纬度的步骤,包括:确定所述预设立体模型对应的每个视点的纬度区间;

计算所述每个视点的纬度区间的纬度区间和;

将所述纬度区间和去除各视点间的重叠纬度区间,得到所述预设立体模型的纬度区间;

将所述每个视点的经度区间,确定为所述预设立体模型的经度区间;

根据所述预设立体模型的经度区间和纬度区间,对所述预设立体模型进行经纬度的划分。

6.根据权利要求1所述的方法,其特征在于,建立所述映射关系的过程包括:根据采集所述二维平面图像的相机的内参,对二维平面图像样本中的像素点进行畸变校正运算,得到畸变校正像素点;

根据所述相机的外参,对所述畸变校正像素点进行透视变换,得到俯视鸟瞰像素点;

将所述俯视鸟瞰像素点转换为世界坐标点;

确定所述世界坐标点与预设立体模型的投影点之间的投影线,所述投影点为预先设定的;

将所述投影线与所述预设立体模型的交点确定为网格点;

根据每个网格点及其对应的二维平面图像样本中的像素点,建立所述映射关系。

7.根据权利要求1所述的方法,其特征在于,在所述根据预先建立的映射关系,确定预设立体模型中的各个网格点映射到所述二维平面图像中的像素点的步骤之后,还包括:将映射失败的网格点标记为无效点;

所述针对所述预设立体模型中的每个网格平面,将该网格平面中各个网格点映射到的像素点构成的像素区域确定为该网格平面对应的像素区域的步骤,包括:针对所述预设立体模型中的每个有效网格平面,将该有效网格平面中各个网格点映射到的像素点构成的像素区域确定为该有效网格平面对应的像素区域,所述有效网格平面为:由除所述无效点之外的网格点构成的网格平面;

所述对于每个网格平面,用该网格平面对应的像素区域进行渲染,得到全景图像的步骤,包括:对于每个有效网格平面,用该有效网格平面对应的像素区域进行渲染,得到全景图像。

8.根据权利要求1所述的方法,其特征在于,所述获取二维平面图像的步骤,包括:获取多个视点的二维平面图像;

所述根据预先建立的映射关系,确定预设立体模型中的各个网格点映射到所述二维平面图像中的像素点的步骤,包括:确定当前视点、以及预设立体模型在所述当前视点的各个目标网格点;

根据预先建立的映射关系,确定所述各个目标网格点映射到所述二维平面图像中的像素点;

所述针对所述预设立体模型中的每个网格平面,将该网格平面中各个网格点映射到的像素点构成的像素区域确定为该网格平面对应的像素区域的步骤,包括:针对所述预设立体模型中的每个目标网格平面,将该目标网格平面中网格点映射到的像素点构成的像素区域确定为该目标网格平面对应的目标像素区域;其中,一个目标网格平面由第一预设数量个目标网格点构成;

所述对于每个网格平面,用该网格平面对应的像素区域进行渲染,得到全景图像的步骤,包括:对于每个目标网格平面,用该目标网格平面对应的目标像素区域进行渲染,得到当前视点的全景图像。

9.一种全景图像生成装置,其特征在于,包括:获取模块,用于获取二维平面图像;

第一确定模块,用于根据预先建立的映射关系,确定预设立体模型中的各个网格点映射到所述二维平面图像中的像素点;其中,所述映射关系中包含所述预设立体模型中各个网格点与二维平面图像中像素点的对应关系;

第二确定模块,用于针对所述预设立体模型中的每个网格平面,将该网格平面中各个网格点映射到的像素点构成的像素区域确定为该网格平面对应的像素区域;其中,一个网格平面由第一预设数量个网格点构成;

渲染模块,用于对于每个网格平面,用该网格平面对应的像素区域进行渲染,得到全景图像。

10.根据权利要求9所述的装置,其特征在于,所述装置还包括:第三确定模块,用于确定所述预设立体模型中的网格点;

第四确定模块,用于针对所确定的每个网格点,确定该网格点与预设投影点之间的投影线;其中,所述投影点位于所述预设立体模型的俯视鸟瞰平面的上方,所述投影线以所述投影点为起点,且穿过该网格点;

第五确定模块,用于确定所述投影线与所述俯视鸟瞰平面的交点;

第一转换模块,用于将所述交点转换为俯视鸟瞰像素点;

逆变换模块,用于根据采集所述二维平面图像的相机的外参,对所述俯视鸟瞰像素点进行透视逆变换,得到畸变校正像素点;

逆运算模块,用于根据所述相机的内参,对所述畸变校正像素点进行畸变校正逆运算,得到二维平面像素点;

第一建立模块,用于根据每个网格点及其对应的二维平面像素点,建立所述映射关系。

11.根据权利要求10所述的装置,其特征在于,所述第一转换模块,具体用于:根据预先设定的转换系数,将所述交点转换为俯视鸟瞰像素点。

12.根据权利要求10所述的装置,其特征在于,所述第三确定模块,包括:划分子模块,用于在所述预设立体模型中划分经纬度;

确定子模块,用于根据划分结果,确定所述模型中的每个网格点、每个网格点的经度值和纬度值、以及每个网格点在所述预设立体模型中的三维坐标值;

所述第一建立模块,具体用于:

针对每个网格点,以该网格点的经度值和纬度值为索引,建立该网格点的三维坐标值与其对应的二维平面像素点的像素坐标值之间的映射关系;

所述第一确定模块,具体用于:

基于所述索引,依次确定当前待映射网格点;针对每个当前待映射网格点,确定该当前网格点的三维坐标值及其对应的像素坐标值,所确定的像素坐标值为该当前网格点映射到所述二维平面图像中像素点的坐标值;

所述渲染模块,具体用于:

分别将每个网格平面作为待渲染平面;根据所述待渲染平面中包含的各个网格点的三维坐标值,在所述预设立体模型中确定待渲染位置;根据所述待渲染平面中包含的各个网格点的三维坐标值对应的像素坐标值,在所述二维平面图像中确定目标区域;利用所述目标区域对所述待渲染位置进行渲染,得到全景图像。

13.根据权利要求12所述的装置,其特征在于,所述划分子模块,具体用于:确定所述预设立体模型对应的每个视点的纬度区间;

计算所述每个视点的纬度区间的纬度区间和;

将所述纬度区间和去除各视点间的重叠纬度区间,得到所述预设立体模型的纬度区间;

将所述每个视点的经度区间,确定为所述预设立体模型的经度区间;

根据所述预设立体模型的经度区间和纬度区间,对所述预设立体模型进行经纬度的划分。

14.根据权利要求9所述的装置,其特征在于,所述装置还包括:畸变校正运算模块,用于根据采集所述二维平面图像的相机的内参,对二维平面图像样本中的像素点进行畸变校正运算,得到畸变校正像素点;

透视变换模块,用于根据所述相机的外参,对所述畸变校正像素点进行透视变换,得到俯视鸟瞰像素点;

第二转换模块,用于将所述俯视鸟瞰像素点转换为世界坐标点;

第六确定模块,用于确定所述世界坐标点与预设立体模型的投影点之间的投影线,所述投影点为预先设定的;

第七确定模块,用于将所述投影线与所述预设立体模型的交点确定为网格点;

第二建立模块,根据每个网格点及其对应的二维平面图像样本中的像素点,建立所述映射关系。

15.根据权利要求9所述的装置,其特征在于,所述装置还包括:标记模块,用于将映射失败的网格点标记为无效点;

所述第二确定模块,具体用于:

针对所述预设立体模型中的每个有效网格平面,将该有效网格平面中各个网格点映射到的像素点构成的像素区域确定为该有效网格平面对应的像素区域,所述有效网格平面为:由除所述无效点之外的网格点构成的网格平面;

所述渲染模块,具体用于:

对于每个有效网格平面,用该有效网格平面对应的像素区域进行渲染,得到全景图像。

16.根据权利要求9所述的装置,其特征在于,所述装置还包括:所述获取模块,具体用于:

获取多个视点的二维平面图像;

所述第一确定模块,具体用于:

确定当前视点、以及预设立体模型在所述当前视点的各个目标网格点;根据预先建立的映射关系,确定所述各个目标网格点映射到所述二维平面图像中的像素点;

所述第二确定模块,具体用于:

针对所述预设立体模型中的每个目标网格平面,将该目标网格平面中网格点映射到的像素点构成的像素区域确定为该目标网格平面对应的目标像素区域;其中,一个目标网格平面由第一预设数量个目标网格点构成;

所述渲染模块,具体用于:

对于每个目标网格平面,用该目标网格平面对应的目标像素区域进行渲染,得到当前视点的全景图像。

17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。

18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。