利索能及
我要发布
收藏
专利号: 2024106266835
申请人: 薛有红
专利类型:发明专利
专利状态:已下证
更新日期:2024-12-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种机器人视觉自动化抓取系统,其特征在于:包括标定单元(100),所述标定单元(100)用于分别确定图像坐标系与相机坐标系之间的关系及相机的镜头畸变,确定相机坐标系与机器人末端坐标系之间的关系,确定末端抓取工具坐标系与机器人末端坐标系之间的关系;

所述标定单元(100)还包括手眼标定模块(102)和工具标定模块(103),所述手眼标定模块(102)用于确定相机坐标系与机器人末端坐标系之间的关系,基于双目相机与机器人机械臂的位置关系,可将手眼标定分为眼在手上和眼在手外两种,具体操作步骤如下:选择手眼标定模式为眼在手上还是眼在手外,选择标定板类型并设置标定板参数,手眼标定器对象创建相应的标定板对象,用于识别标定板位姿,用户控制机器人移动后向手眼标定器发送采集信号,手眼标定器收到信号后通过视觉传感器获取目标图像,随后调用标定板对象进行识别,手眼标定器再向机器人获取机器人当前坐标信息,将机器人当前坐标、标定板位姿和对应目标图像作为一组数据存入标定数据集,通过手眼标定器执行手眼标定,所述工具标定模块(103)用于通过六点法确定末端抓取工具坐标系与机器人末端坐标系之间的关系;

数据储存单元(200),所述数据储存单元(200)用于基于建立的与待抓取目标相关的数据储存库,将与待抓取目标相关的数据信息进行存储,以便在进行抓取作业时将采集的图像与数据储存库内存储的图像进行对比识别,进而获得待抓取目标的具体信息;

三维视觉处理单元(300),所述三维视觉处理单元(300)用于在进行抓取作业时,对待抓取目标进行图像采集,并对采集的图像进行预处理后,与数据储存库内存储的图像进行对比识别,以获取待抓取目标的具体信息,且基于经过预处理的图像信息对待抓取目标进行定位;

所述三维视觉处理单元(300)还包括目标识别模块(303)和目标定位模块(304),所述目标识别模块(303)用于将图像预处理模块(302)中经过预处理的图像与数据储存库内存储的图像进行对比识别,并基于对比识别结果获取待抓取目标的相关信息,同时将该经过预处理的图像上传到数据储存库内进行储存,所述目标定位模块(304)用于基于经过预处理的图像信息,从轮廓的圆形度、轮廓面积与外接最小矩形面积比、轮廓层级关系以及Hu矩四个方面对待抓取目标进行轮廓识别,由此将图像中种类不同的目标进行分割,并对待抓取目标进行三维建模,以对待抓取目标进行定位;

机器人控制单元(400),所述机器人控制单元(400)用于当检测到没有足够的空间进行抓取作业时,对待抓取目标的位置进行调整,且对机器人的抓取位姿进行调整,在调整完成后,对待抓取目标的抓取路线进行规划调整;

所述机器人控制单元(400)包括目标位置调整模块(401),所述目标位置调整模块(401)用于当没有足够的空间进行抓取作业时,通过控制机器人对待抓取目标同时进行抓取动作和推动动作,以调整待抓取目标的位置,且通过设计的抓取奖励函数和推动奖励函数对机器人进行动作训练,以降低推动过程中随机性对抓取成功率的影响,且抓取奖励函数采用稀疏的奖励函数,其具体计算公式如下:式中,奖励Rcollsion={0,‑0.5},且推动奖励函数的具体计算公式如下:

Rp=Rcollsion+w·D(st,st+1)+c'‑c

式中,c'‑c表示推动前后聚类数量c、c'的变化情况,D(st,st+1)表示推动前的点云st与推动后的点云st+1之间的倒角距离,w表示推动前后状态改变量的权重系数;

所述机器人控制单元(400)还包括抓取位姿调整模块(402)和抓取路线规划模块(403),所述抓取位姿调整模块(402)用于基于通过目标位置调整模块(401)调整后的待抓取目标的位置信息,对机器人的位置进行调整,且在调整完成后对机器人机械臂的下爪位置、抓取角度以及抓取姿势进行调整,所述抓取路线规划模块(403)用于基于机器人机械臂当前位置和待抓取目标的位置,得出机器人机械臂的初始抓取路线,且在考虑路线障碍以及机器人机械臂自由度限制的情况下,对初始抓取路线进行部分调整,且在此基础上,通过路线插补算法对调整后的路线进行进一步的调整,以提高机器人机械臂在抓取过程中的平滑度,其具体计算公式为:式中,farm表示机器人机械臂的工作频率,(xp‑1,yp‑1,zp‑1)表示初始抓取路线上的路线节点,(x'p,y'p,z'p)表示经过部分调整后的初始抓取路线上的路线节点,dc表示经过部分调整后的初始抓取路线的插补距离,Nc表示经过部分调整后的初始抓取路线的步数;

目标抓取单元(500),所述目标抓取单元(500)用于对机器人开始进行抓取作业的视角进行选择,且在选择完毕后基于获取的待抓取目标的具体信息,调整机器人末端抓取工具的抓取力,并在调整完毕后执行抓取作业。

2.根据权利要求1所述的一种机器人视觉自动化抓取系统,其特征在于:所述标定单元(100)包括相机标定模块(101),所述相机标定模块(101)用于通过基于标定板的传统相机标定方法求取三维空间内一点与像素坐标系中一点的对应关系,同时求取出双目相机的内参数、外参数以及畸变参数矩阵,进而确定图像坐标系与相机坐标系之间的关系,实现对双目相机的标定。

3.根据权利要求1所述的一种机器人视觉自动化抓取系统,其特征在于:所述数据储存单元(200)包括目标数据储存模块(201)和目标数据更新模块(202),所述目标数据储存模块(201)用于将与待抓取目标相关的数据信息上传到数据储存库进行存储,且与待抓取目标相关的数据信息包括图像中待抓取目标的尺寸、重量以及种类,所述目标数据更新模块(202)用于通过将与数据储存库内存储的图像进行对比识别且对比识别结果为同种目标的图像上传到数据储存库内的方式实现对数据储存库内的数据信息进行更新。

4.根据权利要求1所述的一种机器人视觉自动化抓取系统,其特征在于:所述三维视觉处理单元(300)包括目标图像采集模块(301)和图像预处理模块(302),所述目标图像采集模块(301)通过双目相机实现对待抓取目标的多方位的图像采集,所述图像预处理模块(302)用于对采集的图像进行预处理操作,以去除图像中不相关的信息,提高图像的可视性,具体通过图像灰度化、图像滤波、图像二值化和图像形态学处理实现对图像的预处理,其中通过最大值法、平均值法或者加权平均法实现图像灰度化操作,其中通过均值滤波法、中值滤波法、高斯滤波法或者双边滤波法实现图像滤波操作,其中通过最大类间方差法实现图像二值化操作,其中通过腐蚀、膨胀、开运算和闭运算四个基本操作实现图像形态学处理。

5.根据权利要求1所述的一种机器人视觉自动化抓取系统,其特征在于:所述目标抓取单元(500)包括视角选择模块(501),所述视角选择模块(501)用于通过视角选择器选择机器人在进行抓取作业时的抓取视角,以便于机器人在全局图像中进一步识别待抓取目标的位置。

6.根据权利要求1所述的一种机器人视觉自动化抓取系统,其特征在于:所述目标抓取单元(500)还包括抓取力调整模块(502)和抓取动作执行模块(503),所述抓取力调整模块(502)用于基于获取的待抓取目标的重量信息,通过抓取力预测算法对需求的抓取力进行计算,且基于计算结果调整机器人机械臂的抓取力,所述抓取动作执行模块(503)用于控制机器人机械臂执行抓取作业。