1.一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,包括以下步骤:步骤1)全局相机进行拍照并进行预处理:
对待抓取区域的所有物体进行拍照,并使用带阈值均值滤波算法对图像进行滤波;
步骤2)全局相机获取物体信息并确定当前抓取目标:
使用训练集训练Mask R‑CNN神经网络,识别全局相机图像中的所有物体,并注明物体的类别;识别到物体后,根据形状计算每个物体质心的像素坐标,基于质心从左到右,从上到下的顺序为物体排序,将序号为1的物体设为当前的抓取目标;
步骤3)获取抓取目标的特征点及其世界坐标:
确定抓取目标后,利用边缘检测以及角点检测方法获取目标的上表面信息,并在其上表面标出4个特征点,得到特征点得像素坐标,根据全局相机的内参矩阵以及从全局相机到世界坐标系的旋转变换矩阵求出每一个特征点的世界坐标;
步骤4)机械臂移动到初始抓取位置:
根据目标物体种类为每个特征点设置手眼相机中的初始像素坐标,依据步骤3)中得到的特征点世界坐标利用手眼相机内参矩阵以及从世界坐标到手眼相机的旋转变换矩阵求出其在手眼相机中的当前理论像素坐标,再采用离线的开环MPC算法控制机械臂移动,同时不断地计算目标物体特征点在机械臂新位姿下的手眼相机新的理论像素坐标,直到其理论像素坐标到达设置的初始像素坐标附近;
步骤5)手眼相机获取物体信息:
使用训练集训练Mask R‑CNN神经网络,识别当前视野内的物体以及种类,利用边缘检测以及角点检测识别物体上表面,并在每个物体上标识4个特征点,获得视野内所有物体的特征点像素坐标;
步骤6)手眼相机识别当前抓取目标:
计算手眼相机视野内每个物体的4个特征点像素坐标与步骤4)中的4个初始像素坐标的差值之和,像素差值之和最小的物体即为全局相机中定好的抓取目标;
步骤7)利用手眼相机以及在线的闭环MPC算法抓取目标:
在手眼相机确定抓取目标后,根据目标种类设定抓取到物体时手眼相机中的特征点期望坐标,采用在线的闭环MPC算法控制机械臂抓取目标物体。
2.根据权利要求1所述的一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,所述步骤1)具体过程如下:当中心像素点的像素值与邻域内平均像素值差的绝对值大于阈值的时候做滤波处理,否则保留原像素值;经过滤波后的像素值为:其中,(x,y)为像素坐标,g(x,y)为滤波后的像素值,I(x,y)为滤波前像素值,n为卷积核对应的区域大小,Neighbor表示整个图像区域。
3.根据权利要求1所述的一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,所述步骤3)具体过程如下:根据针孔相机模型,第i个特征点的世界坐标 全局相机坐标
与图像像素坐标 之间有如下转换关系:
其中, 为第i个特征点的像素坐标, 为第i个特征点的世界坐标,为全局相机内参矩阵,通过标定获得, 为从世界坐标系到全
局相机坐标系的旋转平移变换矩阵,T代表矩阵转置。
4.根据权利要求1所述的一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,所述步骤4)具体过程如下:首先根据物体种类为4个特征点设置手眼相机中的抓取任务初始像素坐标,第i个特征点的坐标为 以此作为该步骤的期望像素坐标;依据步骤3)中得到的特征点世界坐标可利用手眼相机内参矩阵以及世界坐标系到手眼相机的旋转变换矩阵求出第i个特征点在手眼相机中的当前理论像素坐标 由于特征点不在手眼相机视野内,此时计算的理论像素坐标存在负数或者超出相机像素上限的情况;变换公式如下所示:其中, 为第i个特征点的当前理论像素坐标, 为第i个特征点的手眼相机坐标,表示为 T表示矩阵转置, 为手
眼相机内参矩阵,通过相机标定获得, 为从世界坐标系到手眼相机坐标系的旋转平移变换矩阵;
得到当前理论像素坐标后,求出4个特征点理论像素坐标 与期望像素T
坐标 的误差之和e=(eu,ev) ;
再采用MPC算法控制机械臂移动,将误差e作为输入,机械臂的6个关节角速度(U1,U2,TU3,U4,U5,U6) 作为输出,并发送给机械臂控制器,使机械臂运动;计算过程中,动态记录每个周期所用的时间,再计算此周期内各个关节的角度变化量,得出新的关节角度,进一步计算新的世界坐标系到手眼相机坐标系的旋转变换矩阵,进一步更新目标物体特征点在机械臂新位姿下的当前理论像素坐标 从而计算新的误差e,直到误差减小到目标范围内,认为目标物体已进入手眼相机视野范围。
5.根据权利要求1所述的一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,所述步骤6)具体过程如下:首先标出手眼相机视野内每个物体的4个特征点像素坐标,第i个特征点像素坐标为(ui,vi),并计算其与步骤(4)中的4个初始像素坐标 的差值之和;第j个物体的差值为:求出差值后,比较所有的差值Disj,其中像素差值之和最小的物体即认为使全局相机中定好的当前抓取目标;此后,依据当前目标物体的4个特征点像素坐标进行计算控制机械臂执行抓取任务。
6.根据权利要求1所述的一种视觉伺服机械臂的多目标自适应角度抓取方法,其特征在于,所述步骤7)具体过程如下:输入为手眼相机中4个特征点当前像素坐标与期望像素坐标的差值之和,输出为机械臂的6个关节角速度,代价函数定为当前像素坐标与期望像素坐标差值之和,随着像素差值之和的减小,机械臂会先将末端角度调节制与特征点平面平行,再保持与特征点面平行的状态靠近物体,从而实现了自适应角度夹取,同时利用MPC可设置约束条件的优点,为机械臂设置速度约束,关节角约束以及视野约束;在进行抓取任务的过程中,计算当前手眼相机中每个物体的4个特征点像素坐标与机械臂此姿态下中的4个理论像素坐标的差值之和,像素差值之和最小的物体即为当前任务中的抓取目标。