利索能及
我要发布
收藏
专利号: 2021113662433
申请人: 南京工业职业技术大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于单目视觉导引的移动机器人智能抓取方法,其特征在于,该方法包括以下步骤:步骤S1:将目标放置在操作平台上,串联结构的机器人固定安装在移动平台上,视觉系统通过硬性连接装置固定在移动平台上;

步骤S2:粗略定位阶段,移动平台通过内置的视觉导航模块,移动到操作平台附近,使得视觉系统能采集到目标的图像,视觉系统随着移动平台移动而移动,步骤S3:抓取阶段,机器人抓取目标阶段分解成目标图像检测、目标特征提取、目标位姿测量、目标跟踪和目标抓取过程,步骤S4:目标图像检测,搭建了基于单个深层神经网络的目标检测网络,该目标检测网络的主干特征提取网络采用了VGG‑16,其次,目标检测网络采用卷积将不同的特征图进行提取检测结果,目标检测网络引入了注意力残差结构,目标检测网络训练:目标检测网络训练的目标,即网络的损失函数定义如下其中,x={0,1}表示预测框指示器,l表示预测框,g表示目标真实框,c为目标分类的置信度,Lconf(x,c)为类别损失函数,Lloc(x,l,g)为回归损失函数,N表示候选预测框的个数,α为可调参数,用于调整两种损失函数的比例,回归损失函数Lloc(x,l,g)采用smooth L1损失,其中,k表示目标检测网络对于每个候选预测框输出结果,预测框的中心坐标(x、y)、宽、高(cx,cy,cw,ch),i表示预测框的编号,j表示真实框编号, 时表示预测框i与真实框j匹配, 时表示预测框i与真实框j不匹配,Pos表示正样本的预测框的组合, 表示第i个预测框的输出结果, 表示第j个真实框的结果,类别损失函数Lconf(x,c)定义如下

其中,Neg表示负样本的预测框的组合,p代表类别号,p=0的表示预测框输出为背景,真实框的类别为p, 表示第i个预测框对应类别p的预测概率, 的计算使用了softmax完成概率归一化操作,注意力残差结构:搭建的注意力残差结构包含两个分支:主干分支Γi,c(x)和掩膜分支Ηi,c(x),主干分支负责提取图像特征,掩膜分支生成不同特征的注意力信息,即分配权重,Ψi,c(x)=(1+Ηi,c(x))·Γi,c(x)    (4)其中,Γi,c(x)残差函数,包含了由主干特征提取网络提取的特征,Ηi,c(x)根据提取到的特征自适应的改变权重,步骤S5:目标特征提取,给定目标图像,经过目标检测网络,输出为包含目标的矩形目标框,以该目标框为目标的感兴趣区域,进行目标特征提取,目标特征选取为目标的边缘特征,基于边缘模板的特征提取方法,具体包含以下步骤:基元模板创建、目标边缘检测、感兴趣特征计算,基元模板创建:直线和角点为边缘特征的基元元素,定义直线基元模板和角点基元模板,目标边缘直线基元模板定义如下:

au+bv+1=0    (5)

其中,(a,b)为直线基元的图像空间参数,(u,v)为图像空间的直线基元模板像素点坐标,目标角点基元模板通过两条直线相交求解,其定义如下:其中,(ai,bi)为第i条直线基元的参数,(aj,bj)为第j条直线基元的参数,这两条直线都基于边缘直线基元模板得到,目标边缘检测:首先,根据目标颜色和背景颜色的差异,利用颜色特征对目标边缘进行粗略提取;然后,结合形态学操作对图像噪声进行滤波,并去除纹理背景;最后,采用霍夫变换计算出目标的边缘直线,利用颜色空间变换公式,将图像从RGB颜色空间转化到HSV颜色空间,假设通过颜色粗略提取和颜色空间变换之后得到的目标图像为X,利用开运算平滑物体轮廓,断开较窄的狭颈,并消除细小的突出物,其中,Y表示开运算后的图像,A为开运算算子,Θ表示腐蚀操作,⊕表示膨胀操作,利用闭运算弥合较窄的间断和细长的沟壑,消除小的空洞,填补轮廓线的中的断裂,其中,Z表示开运算后的图像,即为得到的提取到目标边缘的图像,利用霍夫变换的直线检测原理,对提取到的目标边缘点进行直线拟合,并计算边缘直线特征,感兴趣特征计算:感兴趣的特征为目标的角点特征,根据霍夫直线检测,提取到目标的直线边缘,然后利用(6),得到目标图像角点特征,对于给定的矩形目标,提取到4条边缘直线和4个角点特征,步骤S6:目标位姿测量,提取到的目标上的4个角点特征,基于如下多点透视成像原理c估算出目标在视觉系统坐标系的位姿Tt

其中,Mc表示视觉系统的内参数矩阵,通过标定得到,i=1,2,3,4表示角点的标号,Zci表示目标上第i个角点在视觉系统坐标系的深度,(ui,vi)表示第i个角点的图像坐标,t t t(XiYiZi)表示角点在目标坐标系的物理坐标,以矩形目标的中心为参考对象,则角点的物理坐标根据目标的尺寸解算出,r

目标在机器人坐标系的位姿Tt求解如下

r r c

Tt=Tc·Tt    (10)

r

其中,Tc为视觉系统在机器人坐标系的外参数矩阵,该矩阵通过外参数标定得到,步骤S7:目标跟踪,在机器人抓取目标的过程中,移动平台一直处于运动状态,这使得机器人末端机械手相对于目标存在相对运动,将目标的位姿转换到机器人坐标系后,设计基于位置的视觉伺服控制器,使得机械手跟踪上目标,基于位置视觉伺服的目标跟踪控制器的具体推导如下:定义目标跟踪器的误差e

e=s‑s*    (11)

T

其中,s=[sp sθ]表示状态量,包含三维空间位置和姿态,位置向量表示为sp=[spx spy r r r r *spz],姿态角向量表示为θg=[θgxθgyθgz],s表示期望的状态量,t

机械手在目标坐标系的位置和姿态矩阵Tg表示如下

t t t r ‑1

其中,Rg表示姿态矩阵,pg表示位置向量,Tr=Tt 表示机器人在目标坐标系的位姿矩r阵,Tg表示机械手在机器人坐标系的位姿矩阵,直接从机器人控制器端获取,目标跟踪的目的是抓取目标,理想的状态s*选定为目标坐标系上方固定位置,即t t T t则状态量s=[ pgpθ],pg表示机械手在目标坐标系的位t t

置,pθ表示机械手在目标坐标系的姿态,通过姿态矩阵Rg得到,T 3×1 3×1

假设机械手的运动速度为νg,νg=[νgt vgr] ,νgt∈R 表示平移速度,vgr∈R 表示旋转速度,则机械手的运动速度与状态量的变化之间的关系为:其中,Le为交互矩阵,

则误差对时间的导数为

为了使机械手快速跟踪上目标,设计误差的变化满足 将其带入到(15),推导出机械手的运动速度为其中,λ>0为调整系数,

在目标跟踪阶段,机械手的运动速度按照(16)控制,实现目标跟踪,T

步骤S8:目标抓取,首先定义目标跟踪完成时,机械手的速度为ν′g=[ν′gt v′gr],在目标抓取中,从视觉系统获取得最新图像到机械手进行抓取运动,中间存在延时,设该延时为ts,设机械手闭合时间为tc,设位置偏移量为Δpo,姿态偏移量为Δθo,则在目标抓取中,机械手的位置和姿态总的调整量为