利索能及
我要发布
收藏
专利号: 2022116496800
申请人: 苏州科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习目标检测与图像分割的机械手抓取方法,其特征在于,所述方法包括:步骤S1:利用机械手自带拍摄设备采集包含有待抓取目标的图像,并利用基于深度学习YOLOv4的目标检测网络输出待抓取目标的检测框;所述机械手自带拍摄设备包括深度相机;

步骤S2:以YOLOv4的目标检测网络输出待抓取目标的检测框作为GrabCut算法的先验框,将待抓取目标从背景中分割出来;

步骤S3:对分割出来的待抓取目标进行边缘提取,以绘制其边缘轮廓的最小外接矩形;

步骤S4:以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置,结合机械手自带拍摄设备与机械手末端的位置关系计算机械手抓取点坐标,进而实现对应的抓取任务。

2.根据权利要求1所述的方法,其特征在于,所述步骤S1中的基于深度学习YOLOv4的目标检测网络包括四部分,输入端、主干部分、颈部、和头部;其中输入端利用马赛克数据增强和自对抗训练策略SAT以丰富检测数据集;主干部分采用CSPDarknet53网络框架作为网络提取骨干用于特征提取;颈部采用空间金字塔池化模块SPP融合不同尺度大小的特征图、增加主干特征的接收范围,利用自顶向下的FPN特征金字塔和自底向上的PAN特征金字塔来提升网络的特征提取能力;头部的损失函数在计算边界框回归时,同时考虑了预测框A和真实框B的重叠面积、中心点距离和宽高比。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括对所述基于深度学习YOLOv4的目标检测网络进行训练,包括:Step1构建检测数据集:对各类抓取样本进行照片拍摄采集,以构建所述基于深度学习YOLOv4的目标检测网络的检测数据集;

Step2对所述检测数据集中的图像进行标注:使用图像标注软件LabelImg标注工具对所采集到的图像进行标注,用矩形框将需要检测的抓取样本种类框选出来,所述矩形框即为真实框B,并标记出每个种类的标签,保存并输出标注文件;

Step3扩充所述检测数据集:对Step1采集到的图像进行图像亮度调整、图像色调调整、增加噪声、随机缩放、旋转、仿射以扩充所述检测数据集,得到扩充后的检测数据集,并将其划分为训练集和测试集;

Step4利用所述训练集对所述基于深度学习YOLOv4的目标检测网络进行训练,所述基于深度学习YOLOv4的目标检测网络的损失函数LCIOU为:其中,Distance_2为预测框A和真实框B中心点的欧式距离,Distance_C为预测框A和真实框B最小外接矩形的对角线距离,IOU计算公式为:其中,∩表示两者的并集,∩表示两者的交集;

v计算公式为:

gt gt p p

其中,w 、h 分别为真实框B的宽和高,w 、h分别为预测框A的宽和高,arctan为反正切函数。

4.根据权利要求3所述的方法,其特征在于,所述步骤S2包括:分别对目标和背景使用包含多个高斯分量的全协方差混合高斯模型GMM进行建模,将图像中的每个像素归属于目标或背景的GMM的某个高斯分量;通过确定GMM的参数每个高斯分量的权重、每个高斯分量的均值向量和协方差矩阵,将一个像素的RGB颜色值带入求解像素分别属于目标和背景的概率;其主要算法步骤如下:

1)以YOLOv4检测框作为先验框,先验框外即为背景;

2)通过先验框外的背景数据,区分先验框中的前景和背景区域;

3)利用GMM对背景和前景建模,并将未定义的像素进行标记,表示可能为前景或者背景;

4)虚构出虚拟边,将图像中的每个像素与周边的像素进行连接,每个像素节点都与一个背景后前景节点相连接;基于虚拟边与周边像素颜色的相似性,确定每条边属于前景或背景的概率;

5)在节点完成连接后,若节点之间的边属于不同的终端,即一个节点是前景,一个节点是背景,则切断两个像素节点之间的联系,从而将图像中的前景部分分割出来。

5.根据权利要求4所述的方法,其特征在于,所述步骤S3包括:将步骤S2分割出的图像进行预处理以消除待抓取目标表面花纹信息的噪声影响;

对预处理后的图像进行二值化处理,利用Canny算子进行边缘提取,对提取的边缘轮廓绘制最小外接矩形。

6.根据权利要求5所述的方法,其特征在于,所述步骤S4包括:以待抓取目标边缘轮廓的最小外接矩形的中心点作为机械手抓取点位置,获取所述抓取点位置在图像中的像素坐标点(u,n);

将像素坐标点(u,n)转换至机械手自带拍摄设备深度相机坐标系{C}下,得到其三维坐C标P=(xc,yc,zc);

C

根据机械手自带拍摄设备与机械手末端位置关系,将三维坐标P=(xc,yc,zc)转换至机H械手末端坐标系{H}下,得到机械手抓取点位置在机械手末端坐标系{H}下的三维坐标 P=(xh,yh,zh);

H

根据机械手末端坐标系{H}下的三维坐标 P=(xh,yh,zh)实现对于待抓取目标的抓取任务。

7.根据权利要求6所述的方法,其特征在于,所述机械手抓取点位置在机械手自带拍摄C设备深度相机坐标系{C}下的三维坐标P=(xc,yc,zc)根据下式计算得到:zc=0.001×d (4)

式中:

d——像素的深度;

fx,fy——相机焦距的长度;

cx,cy——相机的原点。

8.一种智能机器人自动抓取方法,其特征在于,所述智能机器人包括机器人本体和机械手,所述智能机器人自动抓取方法利用权利要求7所述的方法获取机械手末端坐标系{H}H B下的三维坐标P=(xH,yH,zH)后,将其转化为机器人本体坐标系{B}下的三维坐标 P=(xb,yb,zb);以与最小外接矩形的短轴方向平行的角度作为机械手的抓取角度完成自动抓取任务。

9.一种智能机器人,其特征在于,所述智能机器人包括机器人本体、机械手以及深度相机,所述智能机器人利用所述深度相机采集包含有待抓取目标的图像,并利用权利要求8所述的自动抓取方法完成目标抓取任务。