1.一种基于视觉的二指机械手工件抓取方法,其特征在于:包括以下步骤:采用图像配准方法确定被抓取工件的粗略位置,并提取目标区域,控制二指机械手移动到被抓取工件上方;
根据提取目标区域与预设的遮罩模板匹配,根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿;
采用贝塞尔曲线确定二指机械手运动轨迹,将工件从工件抓取区放置在目标位置;
重复上述步骤,直至检测不到待抓取工件;
所述图像配准方法包括深度相机拍摄工件抓取区后输出RGB‑D图像后,结合给定工件的图像,提取ORB特征,并提取目标区域,进而实现图像配准;所述图像配准方法具体过程为:深度相机拍摄工件抓取区后输出RGB‑D图像;
对RGB‑D图像进行ORB特征识别;在ORB算法中引入图像金字塔技术,对RGB‑D图像进行ORB特征识别;
提取目标区域:确定待抓取工件的几何中心后提取目标区域;
根据工件在机械臂坐标系中的几何中心坐标,控制机械臂的末端执行器二指机械手移动至该工件上方;
所述根据提取目标区域与预设的遮罩模板匹配,根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿;包括:根据预设阈值生成被抓取工件的二值化图像,构建遮罩图像集合;根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿;
所述根据预设阈值生成被抓取工件的二值化图像,包括:设定深度相机距离工件的表面距离阈值为h,根据h及提取目标区域生成待抓取工件的二值化图像M,二值化图像M的每个像素值计算公式为:其中,H(x,y)为图像坐标系(x,y)处的深度信息;
0
所述构建遮罩图像集合过程为:按照二指机械手剖面俯视图制作遮罩图像A,将遮罩图
0 i
像A旋转πi/N(i=1,…,N),产生遮罩图像集合A(i=0,…N);
所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿,包括:i
根据遮罩图像集合A (i=0,…N)以及待抓取工件区域二值化图像M,通过卷积运算或按位与运算得到第i个遮罩图像与抓取目标形成的目标函数;
其中,卷积运算公式为:
i i
G=(A·M)·g
i
其中,·代表卷积运算,g代表高斯卷积核,G为第i个遮罩图像与抓取目标形成的目标函数;
根据卷积运算公式构造目标函数
其中,按位与运算公式为:
i i
G=(A*M)·g
i
其中,*表示按位与运算,g代表高斯卷积核,G为第i个遮罩图像与抓取目标形成的目标函数;
* * T *
其中,[x ,y] 即为最优抓取位置在图像坐标系下的坐标,i 为获取最优抓取坐标时对
0 1 N
应的遮罩图像编号,G={G,G,…,G}为集合形式的目标函数;
* * * * * T
计算出来的最大值参数[x,y ,i],由图像坐标系坐标[x,y]和内参矩阵得到相机坐标系下的坐标 进而计算得到机械臂坐标系下的最优抓取坐标,根据α=π* *
i/N得到机械臂末端二指机械手旋转的角度,即α=πi/N为最优的抓取位姿;
采用贝塞尔曲线确定二指机械手运动轨迹,将工件从工件抓取区放置在目标位置,包括:根据被抓取工件的精确位置和最优的抓取位姿,二指机械手抓取工件,根据贝塞尔曲线确定的二指机械手运动轨迹,将工件从工件抓取区放置在目标位置,即传送带上,采用能量最小的五次贝塞尔曲线,将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述,为g(u),u∈[0,1],计算该线段的中点Z0,在参数域u∈[0,1]上均匀采样Ω次,设定能量最小的目标函数为:(1)
其中,P1,P2,P3,P4为除去首末控点外的其余四个控点;f(u)为待优化贝塞尔曲线,f(u)为待优化贝塞尔曲线的一次导数,α1,α2,α3为权重因子,满足α1+α2+α3=1,f(uj)为第j个采样点在待优化贝塞尔曲线上对应的值,g(uj)为第j个采样点在一次贝塞尔曲线上的对应值,Δu为采样间隔,Ω为采样次数;求解目标函数,得到最优能量的五阶贝塞尔曲线。
2.一种基于视觉的二指机械手工件抓取系统,用于实现如权利要求1所述的一种基于视觉的二指机械手工件抓取方法,其特征在于:包括机械臂、二指机械手、控制箱、深度相机、传送带和工件抓取区;所述机械臂的末端设置二指机械手,二指机械手用于从工件抓取区抓取工件至传送带上,深度相机设置于工件抓取区上方,用于输出工件抓取区域的RGB‑D图像,控制箱中内置图像配准和轨迹规划用计算机平台。