1.基于体素抓取网络的机械臂灵巧抓取规划方法,其特征在于:包含如下步骤:步骤1:获取物体多视角的RGBD图像,利用TSDF的方法,重建出待物体完整的点云信息;
步骤2:利用物品的完整点云信息生成模拟抓取训练数据,训练体素抓取网络至收敛,得到网络模型;
步骤3:利用步骤1的方法生成待抓取物体的完整点云信息,输入体素抓取网络,输出机械臂灵巧抓取规划。
2.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法,其特征在于:步骤1具体包括:
步骤1‑1:机械臂在物体侧上方做八分之一球运动,获取物体多视角RGBD图像;
步骤1‑2:定义一个包络抓取对象的立方体体素网格空间,获取体素在全局坐标系下的g坐标V(x,y,z);
步骤1‑3:选择一张图片,根据对应相机的外参矩阵,将体素坐标转换到相机坐标系V(x,y,z),再根据相机的内参矩阵,将体素坐标继续转换到图像坐标系V(u,v);
步骤1‑4:利用TSDF有符号截断距离函数的方法,在第i幅图像中,体素点p的权重Wi(p)的值为相机方向与体素表面法向量的夹角除以体素点到相机坐标系原点的距离,然后依据如下公式,得到体素点p的符号距离函数sdfi(p)以及有符号截断距离函数tsdfi(p)的值,sdfi(p)=Di(u,v)‑Di(p)其中,Di(u,v)表示为体素点p在第i幅图像对应像素点(u,v)的深度值,Di(p)表示为体素点p在相机坐标系下的坐标Vi(p)到原点的距离,t为根据体素空间尺度设置的截断距离;
步骤1‑5:选择下一张图片,重复步骤1‑3、1‑4得到各变量值,利用如下公式进行tsdfi(p)值的更新,Wi(p)=min(max W,Wi‑1(p)+1)其中,当i=1时,W=W0(p);
步骤1‑6:重复步骤1‑5,将所有图像更新,融合为待抓取物体的完整点云信息。
3.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法,其特征在于:所述步骤2具体包括:
步骤2‑1:对待抓取物体完整点云依次进行滤波、聚类、分割等预处理,随机采样多个点,作为五指末端执行器的抓取中心,使用Open3D获取采样点的表面法线;
步骤2‑2:根据各采样点的空间坐标以及表面法线生成初始抓取姿态,进行随机的空间变换与五根手指随机弯曲,生成多个抓取姿态;
步骤2‑3:根据五指末端执行器的几何形状信息进行接触检测,将末端执行器与待抓取物体完整点云交错的抓取姿态删除,得到可行的候选抓取姿态集以及对应的物品表面接触点集;
步骤2‑4:获取候选抓取姿态的表面接触点集pi点处指向物体内部的法向量ni,对于点集中的任意两点pm与pn,计算pm指向pn的单位向量 然后分别计算点pm与pn的法向量nm、nn与vmn的夹角αmn、αnm,得到该候选抓取姿态的对应的夹角集合,删去大于90度的夹角,则定义该候选抓取姿态的质量系数λ为所有夹角正切值的最小值;
步骤2‑5:重复步骤2‑4得到所有候选抓取姿态的抓取质量系数;
步骤2‑6:为候选抓取姿态生成标签,若抓取姿态的质量系数小于0.45,则为可行抓取;
若抓取姿态的质量系数大于0.75,则为不可行抓取;
步骤2‑7:将带有类别标签的多个抓取姿态作为训练数据,训练体素抓取网络至收敛,得到模型。
4.根据权利要求1所述的基于体素抓取网络的机械臂灵巧抓取规划方法,其特征在于:所述步骤3具体包括:
步骤3‑1:利用步骤1的方法得到当前待抓取物体的完整点云信息;
步骤3‑2:将待抓取物体的完整点云信息输入步骤2中训练后的体素抓取网络,得到每个体素的十维输出量,第一维为该体素的抓取质量,第二到五维为在该体素的末端执行器四元数位姿,第六到十维为在该体素五指末端执行器的闭合程度;
步骤3‑3:将抓取质量最高的体素空间坐标和对应的四元数位姿控制信息发送给机械臂,将对应的末端执行器闭合程度控制信息发送给末端执行器,完成一次抓取。