利索能及
我要发布
收藏
专利号: 2021115658606
申请人: 淮阴工学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于非完整性蘑菇图像的三维空间视觉定位方法,其特征在于,包括以下步骤:步骤1:固定拍摄高度H,进行相机标定,得到标定参数,所述相机包括左目相机和右目相机,标定参数包括内参矩阵N、外参旋转矩阵W与平移矩阵B;

步骤2:对待检测的蘑菇进行图像采集,并对所述左目相机采集的图像进行图像预处理操作;

步骤3:将预处理后的图像传入神经网络模型,识别出图像中的蘑菇并生成边界框,以确定蘑菇在图像中的位置;

步骤4:根据步骤3所生成的边界框,判断图像中各个蘑菇的完整性r,计算所测蘑菇的中心点,从而得到所测蘑菇的像素坐标,计算出蘑菇的世界坐标;

计算所测蘑菇中心点的具体步骤如下:

步骤4.1:根据边界框的宽ew与边界框的高eh,计算采集图像中蘑菇的完整性r:步骤4.2:记左目相机采集的图像中完整性r低于0.25或高于4的蘑菇图像为伪目标,并将伪目标移除;

步骤4.3:分别将图像中的蘑菇和土壤作为图像的前景对象与背景对象,使用聚类算法K‑means将图像中的像素点分类为两个簇,将采集图像中的蘑菇图像从土壤图像中分离出来;

步骤4.4:对分离出来的蘑菇图像进行像素级的轮廓检测,并使用先验圆拟合蘑菇图像的轮廓,获得完整的蘑菇图像的轮廓;

步骤4.4.1:将前景区域与边缘检测滤波器进行运算,提取采集图像中蘑菇的像素级轮廓边缘;

步骤4.4.2:根据所得轮廓边缘的每个像素作为锚点,并假设这些锚点是蘑菇的先验圆中的点,使得每个锚点对应一个先验圆;

步骤4.4.3:计算先验圆的像素数,选取各个先验圆中共有蘑菇图像区域最大的先验圆作为蘑菇图像的轮廓;

步骤4.5:当采集图像中蘑菇的完整性r为1或处于(0.5,2)区间时,在蘑菇图像区域Qij内进行搜索中心点Ol,Ol=argmax{Oij};其中,i为搜索的行数,j为搜索的列数;否则,转步骤4.4;

步骤4.6:当采集图像中蘑菇完整性r处于(0.25,0.5)∪(2,4)区间时计算对应的中心点;

步骤5:采集左目相机到蘑菇的距离,计算所测蘑菇的高度,求得所测蘑菇的三维坐标;

步骤6:对所述右目相机采集的图像执行同样的步骤2至步骤5操作,并将右目相机采集的图像与左目相机采集的图像进行一一对应,得到与左目相机所采集的图像中蘑菇的中心点坐标Ow的对应点Ok,将Ok用来微调Ow的坐标可得到最终的三维坐标Of:

2.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法,其特征在于,所述步骤2中预处理操作为:采用缩放、旋转,再进行图像增强,并获得用于网络训练的图像数据集合。

3.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法,其特征在于,所述步骤3中使用的神经网络模型为YOLOv3网络模型,其对预处理后的图像进行识别和定位,生成图像中各个蘑菇的边界框。

4.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法,其特征在于,所述步骤4.6中完整性处于(0.25,0.5)∪(2,4)区间具有非完整性蘑菇图像中心点的计算方法包括如下步骤:步骤4.6.1:若蘑菇图像的完整性处于(0.25,0.5)∪(2,4)区间中,则将左目相机采集的图像采用纯白色对宽和高各填充一定的像素值P,P的范围为(25,100),以填充后的图片左上角为原点建立像素坐标系;

步骤4.6.2:在获取的蘑菇图像的轮廓边缘上任取四个锚点坐标a(ax,ay)、b(bx,by)、c(cx,cy)、d(dx,dy)分别可得a(ax,ay)、b(bx,by)与c(cx,cy)、d(dx,dy)的垂直平分线l1与l2计算可得两线交点OL(OLx,OLy),即蘑菇图像中心点的像素坐标,其中:其中,x1为l1所经过点的横坐标,,y1为l1所经过点的纵坐标,x2为l2所经过点的横坐标,y2为l2所经过点的纵坐标;

步骤4.6.3:根据测得相机与蘑菇间的垂直距离h,进而计算可得蘑菇的高度Owz:Owz=H‑h

其中,H是固定的拍摄高度;

步骤4.6.4:通过计算可将所得中心点的像素坐标OL,转化为世界三维坐标Ow:‑1 ‑1 ‑1

Ow=W N TzOL+W B

其中,Tz为相机坐标系下光心到蘑菇的距离: Owz为蘑菇的高度。

5.一种基于权利要求1至4任一所述的基于非完整性蘑菇图像的三维空间视觉定位方法的系统,其特征在于,包括图像采集模块、测距模块、主控模块;

所述图像采集模块用于采集待检测蘑菇的图像信息;包括左目相机和右目相机,所述左目相机和右目相机对同一蘑菇对象共同采集图像数据,并一一对应进行微调;

所述测距模块用于测量所述图像采集模块与待检测蘑菇的距离;

所述主控模块包括图像预处理单元、目标检测单元、完整性检测单元、坐标生成单元:所述图像预处理单元用于对采集的图像进行预处理;

所述目标检测单元用于对预处理后图像中的蘑菇进行识别和定位;

所述完整性检测单元用于检测采集图像中蘑菇的完整性;

所述坐标生成单元用于生成所测蘑菇的三维坐标。

6.根据权利要求5所述的系统,其特征在于,所述主控模块的图像预处理单元、目标检测单元、完整性检测单元、坐标生成单元的具体操作为:所述图像预处理单元用于对采集图像采用缩放、旋转,再进行图像增强,并获得用于网络训练的图像数据集合;

所述目标检测单元用于对预处理后图像中的蘑菇对象进行识别和定位,将图像传入神经网络模型,识别出图像中的蘑菇并生成边界框,以确定蘑菇在图像中的位置;

所述完整性检测单元用于检测判断所采集图像中蘑菇的完整性,当完整性r低于0.25或高于4的蘑菇图像作为伪目标移除;对于完整性r处于(0.5,2)区间以及完整性为1的蘑菇图像在蘑菇轮廓内搜索中心点;当所测图像中蘑菇完整性r处于(0.25,0.5)∪(2,4)区间,计算非完整性蘑菇图像的中心点;所述坐标生成单元用于将所测蘑菇中心点的像素坐标进行转换,并根据测距模块所测的图像采集模块到蘑菇的垂直距离,计算出蘑菇的高度,获得所测蘑菇的三维坐标。

7.根据权利要求6所述的系统,其特征在于,所述测距模块包括激光测距传感器,用于测量图像采集模块所到蘑菇的垂直距离以此计算出所测蘑菇的高度。

8.一种基于非完整性蘑菇图像的三维空间视觉定位装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于非完整性蘑菇图像的三维空间视觉定位方法的步骤。