利索能及
我要发布
收藏
专利号: 2021111738160
申请人: 上海第二工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于计算机视觉的机械臂抓取方法,其特征在于:所述基于计算机视觉的机械臂抓取方法包括如下步骤:步骤1:采用张氏标定法根据成像原理获取深度双目传感摄像头内外参数;

步骤2:对机械臂进行手眼标定,采用眼在手外模式,确定基坐标系与世界坐标系的转换方式;

步骤3:通过深度双目传感摄像头完成图像采集,获取左右视图;

步骤4:对左右视图依次进行中值滤波、高斯滤波、均值滤波;

步骤5:利用尺度不变特征转换图像匹配算法进行匹配,具体包括:首先对基准物件和待抓取物体构建尺度空间,然后进行尺度不变特征转换算法特征点和边缘检测,接着将边缘检测的的边缘点删除,并通过确定特征点的主方向实现特征点匹配,最后采用随机抽样一致算法删除离群匹配对,实现待抓取物体的匹配,完成物件识别;

步骤6:确定待抓取物件的形心坐标,具体包括:首先对左右视图进行图像增强,然后进行边缘检测和形态学处理,接着确定待抓取物件区域,最后算出待抓取物件的形心位置;

步骤7:实现空间三维重建,具体包括:依次利用步骤1获取的摄像头内外参数和步骤2的坐标转换公式实现空间坐标转换;

步骤8:利用机器人操作系统下的初始化工具包调用优傲机械臂,设置运动学求解器和运动规划库,实现机械臂建模;

步骤9:读取基于机械臂底座的空间坐标;

步骤10:利用机器人操作系统下的机械臂控制模块根据步骤9确定的空间坐标规划机械臂路径,发布机械臂运动序列进行物件抓取和放置;

步骤11:再次初始化机械臂,末端执行器归位。

2.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤1的具体步骤如下:根据相机成像原理,直接获取的图像会受到相机镜头畸变的影响;采用棋盘标定板进行标定,获取左右相机内外参。

3.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤2的具体步骤如下:手眼标定求取相机坐标系与机械臂坐标系之间的转换关系,同样采用步骤1中使用的棋盘标定板,将标定板固定在机械臂末端;在保持二者的位姿的前提下,不断移动机械臂,获得不同位置下的标定板照片,记录各照片对应位姿下参数和摄像机外参;从而确定机械臂下标定板的变换矩阵。

4.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤4的具体步骤如下:对获取的左右视图,依次进行中值滤波、高斯滤波、均值滤波;

其中,中值滤波是用像素点(x,y)邻域灰度值的中值代替该像素的灰度值,核函数为:g(x,y)=Mida,b{f(x‑a,y‑b)}式中, m,n为以像素点(x,y)建立的矩阵区域的长宽;高斯滤波是通过设置像素点的邻域区域和卷积核,将邻域像素点与卷积核对应值进行甲醛,其中卷积核函数为:式中σ为高斯函数宽度的参数;均值滤波则利用邻域中像素点的灰度均值代替中心点,核函数为:

5.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤5的具体步骤如下:首先利用高斯卷积和函数建立尺度空间:

式中H(x,y)为输入的图像;

然后检测极值点,通过尺度空间构建高斯金字塔,高斯模型为:D(x,y,σ)=L(x,y,kσ)‑L(x,y,σ)式中k为比例系数;

接着定位特征点和分配特征点方向,通过求取上式的高斯模型极值,排除低对比点定位特征点,为进一步保证算法,通过精度梯度直方图对特征点进行统计,像素点梯度为:像素点幅值为:

梯度方向为:

最后建立描述子和特征点匹配,计算特征点邻域的每个特征点幅值大小和梯度方向并进行梯度直方图统计;在特征点匹配过程则采用以欧氏距离为准则的相似度匹配。

6.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤6的具体步骤如下:确定匹配之后的物体形心,依次进行图像增强、边缘检测、形态学处理、目标区域确定,确定形心像素坐标。

7.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤8的具体步骤如下:由于步骤7获取的是二维平面坐标,无法进行直接抓取,需要转换为基于机械臂的空间坐标,利用在步骤2中求取的转换矩阵进行三维重建,得出空间三维坐标。

8.根据权利要求1所述的基于计算机视觉的机械臂抓取方法,其特征在于:步骤10的具体步骤如下:对机械臂进行正逆运动学分析;首先计算每个关节的机械臂矩阵,假设机械臂由n个关节,则:式中矩阵 由实际机械臂的连杆求出;同理然后对机械臂进行逆运动学分析,与正运动学的解进行对比;利用求出的位姿解,输入步骤求出的三维坐标对机械臂进行运动规划实现抓取。