利索能及
我要发布
收藏
专利号: 2021103439203
申请人: 苏州车泊特智能科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多目视觉融合的整车底盘检测方法,其特征在于,所述检测方法包括以下步骤:

S1,将多个视觉相机分布安装在用于抱起/放置车辆的机械装置上,每个视觉相机对应车辆的其中一部分底盘区域,所有视觉相机对应的底盘区域之和完全覆盖车辆的所有底盘区域;

S2,当机械装置抱起/放置车辆时,同时采用所有视觉相机拍摄得到各自对应的车辆的局部底盘图像;

S3,提取每个局部底盘图像上的关键点,对两个不同局部底盘图像的关键点的特征向量进行匹配;关键点是指图像中突出的小区域,特征向量表示关键点周围的强度模式;

S4,采用Ransac算法和匹配成功的特征来估计单应矩阵,使用单应矩阵计算匹配成功两两图像仿射变换矩阵,采用线性渐变方法对所有局部底盘图像进行融合,得到完整的车辆底盘的全景图像;

S5,采用神经网络物体检测方法对车辆底盘的全景图像进行检测,识别得到车辆四个轮毂或者轮胎的位置,计算全景图像的投影变换矩阵,使用投影变换矩阵对全景图像进行投影校正以获得最终的合成底盘全景图像。

2.根据权利要求1所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S1中,所述视觉相机通过位置调节机构安装在机械装置上。

3.根据权利要求1所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S3中,所述提取每个局部底盘图像上的关键点,对两个不同局部底盘图像的关键点的特征向量进行匹配的过程包括以下步骤:S31,采用自动白平衡算法对拍摄的局部底盘图像进行图像增强处理;

S32,针对每张局部底盘图像,结合相连像素的亮度关系,提取关键点;

S33,针对每个关键点,根据以该关键点领域范围内各像素的亮度关系创建特征向量;

S34,对两个不同局部底盘图像的关键点的特征向量进行匹配,根据关键点特征向量的相似性判断两个不同局部底盘图像之间的匹配关系。

4.根据权利要求3所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S32中,所述针对每张局部底盘图像,结合相连像素的亮度关系,提取关键点的过程包括以下步骤:

S321,给定一个像素点,比较以该像素点为中心的区域范围内的N个像素的亮度,将区域范围内的像素分为三类:

将亮度比该像素点高且亮度差值大于预设亮度阈值的像素设为I类,将亮度比该像素点低且亮度查知大于预设亮度阈值的像素设为II类,其余亮度的像素设为III类;

S322,统计区域内相连像素的个数,如果相连的I类像素或者II类像素的个数大于预设个数阈值,将给定的像素点作为关键点;

S323,重复步骤S321至步骤S322,直至处理完整幅图像的所有像素点。

5.根据权利要求3所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S33中,所述针对每个关键点,根据以该关键点领域范围内各像素的亮度关系创建特征向量的过程包括以下步骤:

S331,利用高斯核对局部底盘图像进行平滑处理;

S332,给定一个关键点;

S333,从以给定关键点为中心的界定的正方形领域内依次随机选择一对像素;

S334,比较随机选择的两个像素的亮度,如果第一个像素的亮度高于第二个像素,该给定关键点的描述符的相应位设为1,否则,该给定关键点的描述符的相应位设为0;

S335,针对该给定关键点,重复M次步骤S333至步骤S334,将M次像素亮度比较结果放入该关键点的二元特征向量中;

S335,重复步骤S323至步骤S335,直至处理完成所有关键点。

6.根据权利要求5所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S34中,所述对两个不同局部底盘图像的关键点的特征向量进行匹配,根据关键点特征向量的相似性判断两个不同局部底盘图像之间的匹配关系的过程包括以下步骤:S341,将其中一个局部底盘图像作为训练图像;

S342,计算训练图像的ORB描述符并将其存储到内存中,训练图像的ORB描述符中包含关键点的二元特征向量;

S343,查询其他局部底盘图像的ORB描述符,采用匹配函数将其与训练图像的ORB描述符进行关键点匹配。

7.根据权利要求6所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S343中,采用匹配函数将其与训练图像的ORB描述符进行关键点匹配的过程包括:计算两张图像中的任意两个关键点之间的标准欧几里得距离相似性,作为关键的匹配质量。

8.根据权利要求6所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S343中,采用匹配函数将其与训练图像的ORB描述符进行关键点匹配的过程包括:计算两张图像中,任意两个关键点之间的特征向量是否包含相似度大于预设相似度阈值的描述符顺序。

9.根据权利要求6所述的基于多目视觉融合的整车底盘检测方法,其特征在于,步骤S4中,所述采用线性渐变方法对所有局部底盘图像进行融合,得到完整的车辆底盘的全景图像的过程包括:

S41,利用特征描述子对提取的所有局部底盘图像上的关键点进行匹配,得到不同局部底盘图像中的相同的关键点,生成若干组匹配对;

S42,参考当前物流环节的拍摄参数、历史物流环境的拍摄参数和车辆的历史底盘图像,根据得到的匹配对,分析得到所有局部底盘图像之间的相对位置;

S43,对每个局部底盘图像的画面方向进行调整,使其方向一致;

S44,通过投影变换将所有局部底盘图像投影在一个球面或柱面上;

S45,计算得到相邻局部底盘图像的拼缝区域,根据预设的融合算法对拼缝区域的像素进行处理,去除相邻局部底盘图像之间的错位像素,得到最终的底盘全景图像;预设的融合算法是指,对拼缝区域内的像素,根据其与接缝的距离进行加权处理。

10.根据权利要求1所述的基于多目视觉融合的整车底盘检测方法,其特征在于,所述检测方法还包括以下步骤:

S4,将获取的底盘全景图像和对应的局部底盘图像处理数据打包成当前物流环节的检测数据文件;

S5,对检测数据文件进行哈希处理,将对应的哈希值上传至云端服务器,并且加载至区块链的对应区块中。