利索能及
我要发布
收藏
专利号: 202110427272X
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于复合特征的分离式视觉伺服控制方法,其特征在于,包括如下步骤:S1、基于NURBS曲线拟合技术反算出曲线控制顶点,获取曲线控制点特征;

S2、计算空间NURBS曲线在相机成像平面上的二维投影曲线;

S3、在通过曲线拟合方法对物体的轮廓投影曲线进行实时拟合运算后,利用得到的曲线控制点计算基于曲线控制点特征的交互矩阵;

S4、选择曲线控制点连线特征,并计算基于曲线控制点连线特征的交互矩阵;

S5、计算曲线控制点间的距离作为距离特征,并计算基于两点间距离特征的交互矩阵;

S6、针对相机旋转姿态的变化而导致的图像特征位置的改变进行补偿;

S7、为了获取曲线控制顶点的深度信息,利用曲线控制点特征的图像平面上的投影变化量与相机的运动速度对交互矩阵中的深度信息进行在线深度估计;

S8、利用相邻曲线控制点连线的直线特征对相机的旋转姿态进行控制,利用两个曲线控制点间的距离特征对机器人沿相机Z轴方向的平移运动进行控制,利用曲线控制点特征对机器人沿相机X、Y轴方向的平移运动进行控制,并在机器人的位置控制中加入旋转运动补偿量,最终完成机器人伺服任务。

2.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,步骤S1包括下列子步骤:

S11、对相机成像平面上的投影轮廓曲线进行图像处理,提取出投影曲线的数据点云坐标;

S12、按照相同间隔将曲线点云数据坐标等分成r个区间;

S13、在每个区间内选取每个数据点的n领域进行多项式运算求得分段多项式,再分别计算每段多项式中数据点处的曲率;

S14、选取曲率绝对值最大处的数据点以及曲线的首末数据端点作为曲线型值点;

S15、根据De Boor‑Cox算法反算出曲线控制点。

3.如权利要求2所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S15中,记一条k次NURBS曲线型值点为qi(i=0,1,…,n),其节点矢量U=[u0,u1,…,un+6]的计算为:

其中,

在求得曲线型值点以及节点矢量后,根据De Boor‑Cox算法反算出曲线控制点,节点插值的NURBS方程组如下:

其中,dj是曲线控制点,ωj是曲线控制点的权因子,令ωj=1,Bj,k(uj)是由节点矢量按De Boor‑Cox递推公式推导出的B样条基函数;

在求得全部的曲线控制顶点后,若发现拟合曲线精度达不到要求,则通过增加节点数量来提高拟合精度,直到拟合精度满足要求为止。

4.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S2中,已知在空间中存在一套机器人视觉伺服系统,摄像机安装在机械臂末端,即眼在手构型;定义机器人的末端执行器坐标系为{T},相机坐标系为{C},机器人坐标系为{R},设在用NURBS曲线描述该空间曲线时,其空间控制顶点为di(i=0,1,…,n),di在相机成像平面上的C

投影控制顶点记为di(i=0,1,…,n);根据相机的透视投影模型,任意时刻t中,空间曲线的C

控制顶点di在相机图像平面上的投影控制点di表示为:其中,M是相机的内参矩阵,相机的内参矩阵由相机标定获得;H(q(t))是机器人基坐标系到机器人末端坐标系的齐次变换矩阵,q(t)是t时刻机器人的关节变量;H(q(t))由机器人的D‑H参数以及机器人在t时刻的关节角度算出;

由NURBS曲线定义及式(4)知,式(5)为t时刻下,空间NURBS曲线在相机成像平面上的二维投影曲线。

5.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S3中,设安装于机械臂末端的相机在空间中的刚体移动速度为V=(vc,ωc),P(Xd,Yd,Zd)是空间控制顶点P相对于相机的坐标,则曲线控制顶点P在相机坐标系下运动速度为:式(6)的标量形式为:

T T

其中,vc=[vcx,vcy,vcz]是相机的线速度,ωc=[ωcx,ωcy,ωcz]是相机的角速度;

根据相机的投影透视关系,图像归一化平面上的曲线控制点坐标表示为:xdc=Xd/Zd,ydc=Yd/Zd               (8)将式(8)两边分别对时间求导得:将式(8)、式(9)代入式(7)并进行整理得:式(10)是在相机归一化成像平面上控制点特征的变化与机械臂末端相机移动的关系式,由式(10)知,一个点图像特征对应两个分量。

6.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S4中,设点A、B是对目标物体轮廓进行NURBS曲线拟合后得到的两个相邻的曲线控制点,O是相机光轴与图像归一化平面的交点;利用A、B两个控制点的图像坐标求得lAB的直线方程,设直线lAB的斜率为k1,则与其垂直的直线p1o的斜率为k2,k2=‑1/k1;根据原点O的坐标以及斜率k2,求得点p1在焦距归一化成像平面上的坐标;

设p1坐标为p1(xp1,yp1,1),则p1点的极坐标参数表示为:沿直线lAB设置两个关于点p1对称的点p2和p3,其极坐标参数分别为ρ2,α2和ρ3,α3,将p2,p3的参数代入直线的极坐标参数方程,得到:其中,α2=α+Δα,α3=α‑Δα,ρ2=ρ3,Δα是一个近似为0的正数,则利用p2,p3的极坐标表示直线lAB的参数α为:

将式(13)对时间求导并进行整理得:将点的极坐标参数变化率带入式(14),得到基于直线极坐标参数α的交互矩阵:T T

其中,v=[vx,vy,vz] 为相机在x,y,z轴的平移运动速率,ω=[ωx,ωy,ωz]为相机在x,y,z轴的旋转运动速率,

且z2,z3是点p2和p3的深度信息,其值在相机运动过程中通过在线估计来获得;当线特征与相机光轴垂直时,z2=z3,直线特征参数α的变化近似看作只由相机的旋转姿态变化产生;

将式(15)改写为:

在利用两个控制点连线计算出相关直线特征参数后,用式(17)所示的交互矩阵对相机姿态进行控制。

7.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S5中,设A、B为焦距归一化成像平面上的两个NURBS曲线控制顶点且A、B两个控制顶点的像素坐标为A(xA,yA),B(xB,yB);根据几何知识知,A、B两个点间的距离表示为:将上式两边同时对时间求导,求得两控制点间的距离变化率为:将点特征交互矩阵式(10)带入式(18)中,得到两点间距离特征的交互矩阵:其中,

且zA,zB是曲线控制顶点A、B的深度值,在相机的运动过程中通过在线估计获得。

8.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S6中,利用直线特征交互矩阵求得相机的旋转运动速率为:其中,Llω是两个控制点连线的线特征交互矩阵,ρ、α是控制点连线的直线特征参数;

相机的旋转运动速率与控制点特征在图像平面上的投影位置变化率之间的关系为:其中,Lpω是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵,Lpω为:其中,xcn、ycn是第n个曲线控制点在相机成像平面上的像素坐标;

利用像平面上特征的变化量及交互矩阵设计曲线控制点的旋转补偿量为:其中,Lpv是成像平面上控制点特征变化率与相机旋转运动速率的交互矩阵,Lpv为:其中,zcn是第n个曲线控制点的深度值。

9.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S7中,设zci是第i个曲线控制顶点的深度值,其像素坐标为Pci(xci,yci,1),则zi的估算如下:在相机焦距归一化成像平面上两个相邻控制点连线的线特征上的点Plj(xlj,ylj,1)的深度信息zlj通过直线特征参数的变化率与相机的运动速度来进行在线估计;zlj的估计方法如下:

10.如权利要求1所述的一种基于复合特征的分离式视觉伺服控制方法,其特征在于,在S8中,在图像特征空间中分别定义曲线控制点误差为ep(t),相邻曲线控制点连线的角度误差为eα(t),两个控制点间的距离误差为ed(t);

式(29)中,fph是期望的曲线控制点特征,fpc(t)是相机当前位姿下的控制点特征;式(30)中,fαh是期望的相邻曲线控制点连线的角度特征,fαc(t)是相机当前位姿下相邻曲线控制点连线的角度特征;式(31)中,fdh是期望的两个控制点间的距离特征,fdc是相机当前位姿下两个控制点间的距离特征, 分别是完成伺服任务所需要的点特征、控制点连线的线特征、两点间距离特征的图像特征变化量;

定义式(32)、式(33)、式(34)如下:其中,kp,kα,kd是系统控制器增益系数;

分别将式(32)、式(33)、式(34)与图像雅可比的定义式联立并分别带入式(29)、式(30)与式(31)中得:

其中, 是控制点特征交互矩阵Jp的伪逆矩阵, 和 分别是线特征交互矩阵的伪逆矩阵和两控制点间距离特征交互矩阵的伪逆矩阵;

取式(35)中矩阵Jp的前3列构成矩阵Jpv,取矩阵Jp的后3列构成矩阵Jpω,则曲线旋转补偿模块对位置控制的补偿量为:

其中, 为矩阵Jpv的伪逆矩阵;

取 的前2行为 则机器人末端移动的位置控制量为:进行伺服任务所需要的总关节控制量 为: