利索能及
我要发布
收藏
专利号: 201710120841X
申请人: 山东省科学院自动化研究所
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于全景拼接数据映射表的辅助泊车方法,其特征是,包括:

在车身四周的地面上设置标定布,利用标定布上棋盘格区域和公共覆盖区域的布局和尺寸信息,将安装在车辆车身上的相邻摄像头的覆盖区域内的图像进行粗配准;

然后利用公共覆盖区域内的物体特征将相邻摄像头的覆盖区域内的图像进行微调,利用图像特征的非相似度,所有分属于不同摄像机所采集的图像特征非相似度的和达到最小时,找到最优的图像配准位置;

利用全景拼接模板图像生成全景拼接数据映射表,根据包含数据映射关系表的文件可以实时地生成全景视频图像。

2.如权利要求1所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,利用摄像头获取汽车前方、左方、后方和右方的四幅鱼眼标定图像A0(x00,y00)、A1(x10,y10)、A2(x20,y20)、A3(x30,y30),对这四副鱼眼标定图像进行畸变校正,得到四幅畸变校正后的鱼眼标定图像B0(x01,y01)、B1(x11,y11)、B2(x21,y21)、B3(x31,y31)。

3.如权利要求2所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,分别识别B0(x01,y01)、B1(x11,y11)、B2(x21,y21)、B3(x31,y31)图像中的棋盘格内角点,得到图像中的棋盘格内角点的世界坐标和图像坐标,根据棋盘格内角点的世界坐标和图像坐标能够计算出B0(x01,y01)、B1(x11,y11)、B2(x21,y21)、B3(x31,y31)图像的单应性变换矩阵H0、H1、H2、H3,根据该单应性变换矩阵,对图像B0(x01,y01)、B1(x11,y11)、B2(x21,y21)、B3(x31,y31)分别进行鸟瞰变换,得到四幅鸟瞰标定图像C0(x02,y02)、C1(x12,y12)、C2(x22,y22)、C3(x32,y32)。

4.如权利要求3所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,单应性变换需要保证四幅鸟瞰标定图像中涉及的单个棋盘方格的图像尺寸相同,并且鸟瞰标定图像中棋盘格的方向与全景拼接的方向一致。

5.如权利要求1所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,所述全景拼接模板图像的生成方式为:根据标定布棋盘格区域的实际尺寸、棋盘格区域之间的实际垂直间距、棋盘格区域的图像尺寸信息以及全景鸟瞰标定图像的显示距离,生成全景拼接模板图像。

6.如权利要求5所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,所述全景拼接模板图像由中心区域Rcent、前方区域RA、左方区域RB、后方区域RC、右方区域RD五块组成,中心区域Rcent为汽车模型图像,前方区域RA、左方区域RB、后方区域RC、右方区域RD分别与相应方向的鸟瞰标定图像C0(x02,y02)、C1(x12,y12)、C2(x22,y22)、C3(x32,y32)相对应,根据棋盘格区域的尺寸确定相邻鸟瞰标定图像的拼接缝隙,拼接缝隙对应的矩形区域就是相邻鸟瞰标定图像的重叠区域;

根据拼接线的位置、鸟瞰图像中棋盘格的图像位置,将四幅鸟瞰标定图像拼接为一幅完整的全景鸟瞰标定图像D(x3,y3)。

7.如权利要求1所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,所述找到最优的图像配准位置具体包括:确定相邻鸟瞰标定图像的重叠区域,对相邻鸟瞰标定图像的重叠区域图像分别进行特征提取,根据这两个重叠区域的图像特征,将这两幅鸟瞰标定图像位置进行微调,搜索到两两相邻鸟瞰图像的最佳配准位置,最终使得在4个重合区域内,所有分属于不同摄像机所采集的图像特征非相似度的和达到最小。

8.如权利要求1所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,生成全景拼接映射表文件,全景拼接映射表由以下几部分组成:F0:鸟瞰标定图像C0(x02,y02)与前方鱼眼标定图像A0(x00,y00)之间像素点坐标映射表M0;

F1:鸟瞰标定图像C1(x12,y12)与左方鱼眼标定图像A1(x10,y10)之间像素点坐标映射表M1;

F2:鸟瞰标定图像C2(x22,y22)与后方鱼眼标定图像A2(x20,y20)之间像素点坐标映射表M2;

F3:鸟瞰标定图像C3(x32,y32)与右方鱼眼标定图像A3(x30,y30)之间像素点坐标映射表M3;

F4:全景鸟瞰标定图像D(x3,y3)与4个方向鸟瞰标定图像之间像素点所属区域映射表M4,映射表M4可表示为公式(1),其中R0、R1、R2、R3分别是鸟瞰标定图像C0、C1、C2、C3的子图像,且不属于全景视频图像中相邻鸟瞰标定图像的融合区域,相邻鸟瞰标定图像的融合区域是相邻鸟瞰标定图像重叠区域的子图像,R4、R5、R6、R7属于相邻鸟瞰标定图像的融合区域,在融合区域中对所属重叠区域图像进行融合处理,其中R4是鸟瞰标定图像C0、C1的重叠区域子图像,R5是鸟瞰标定图像C1、C2的重叠区域子图像,R6是鸟瞰标定图像C2、C3的重叠区域子图像,R7是鸟瞰标定图像C0、C3的重叠区域子图像;

F5:全景鸟瞰标定图像D(x3,y3)与4个方向鸟瞰标定图像C0(x02,y02)、C1(x12,y12)、C2(x22,y22)、C3(x32,y32)之间像素点坐标映射表M5,且对于相邻鸟瞰标定图像融合区域内的任意像素点(x′3,y′3),需要说明(x′3,y′3)与所属的两个鸟瞰图像像素点的坐标映射关系;

F6:对于相邻鸟瞰标定图像的融合区域R4、R5、R6、R7内确定像素点的融合因子h1、h2,其中h1、h2分别是所属鸟瞰图像重叠部分对应坐标下像素的权值,将融合区域R4、R5、R6、R7中涉及的任意像素点的坐标(x′3,y′3)与该像素点的融合因子存入映射表M6。

9.如权利要求1所述的基于全景拼接数据映射表的辅助泊车方法,其特征是,实时地生成全景视频图像实现步骤:实时获取车身周围的4路鱼眼实时图像后,对R0、R1、R2、R3区域内的像素,根据标定系统生成的数据映射表文件,映射到所属原始鱼眼图像的坐标,确定输出像素值,对于R4、R5、R6、R7区域内的像素,根据数据映射表文件,映射到所要参与计算的原始鱼眼图像的坐标,根据映射表确定的融合因子,将该像素点进行融合,确定输出像素值。

10.基于全景拼接数据映射表的辅助泊车系统,其特征是,包括:

图像采集模块,利用安装在车辆车身前方、左方、后方和右方的4路鱼眼超广角摄像头获取图像,并对图像进行同步处理;

判断模块,用于对同步处理后的图像进行判断是否需要标定,若需要则将同步处理后的图像传输至系统标定模块,否则,转入全景生成模块;

系统标定模块,同步处理后的前视频图像、后视频图像、左视频图像及右视频图像分别进行畸变校正,之后再分别进行鸟瞰变换,将鸟瞰变换后的图像进行全景拼接并生成全景拼接数据映射表;

全景生成模块,用于对视频图像重映射变换,之后对变换后的图像进行处理后传输至显示模块进行图像显示。