1.一种双目视觉水果分拣并联机器人视觉盲区末端位姿检测方法，其特征是，包括如下步骤：步骤1，基于双目视觉的图像获取：基于双目视觉实时采集水果分拣并联机器人末端执行器的原始立体图像对，根据能否识别立体图像对中的标定板来判断是否为视觉盲区；

步骤2，针对非视觉盲区末端位姿检测：2.1采用Bouguet算法对原始图像对进行极线校正保证其特征点在同一扫描线上；2.2基于ORB算法对立体图像对进行特征点检测并基于Hamming距离进行立体预匹配；2.3针对立体预匹配中存在的错误匹配问题，采用所提出的渐进式抽样一致性算法对立体预匹配结果进行提纯，其中通过穿插取点和预检验候选模型提高渐进式抽样一致性算法的模型参数估计精度和速度；2.4构建机构双目视觉模型，将提纯后的特征点对代入双目视觉模型进行三维重建，并计算出末端位姿参数；

步骤3，针对视觉盲区末端位姿检测：3.1在非视觉盲区采集RBF神经网络训练样本，以运动学正解为网络的输入样本，视觉检测的末端位姿与运动学正解的偏差值为网络的输出样本；3.2进行RBF神经网络训练，训练过程中采用GWO和LM算法混合优化RBF神经网络权值以提高网络预测精度；3.3将训练好的混合优化RBF神经网络用于视觉盲区末端位姿检测，通过混合优化的RBF神经网络对视觉盲区的运动学正解进行误差补偿以获得高精度末端位姿参数；

步骤2.1的具体过程为：

将左右相机之间的旋转矩阵R采用如式(1)(2)的方式分解为左相机旋转矩阵Rl和右相机旋转矩阵Rr：

1/2

Rl＝R      (1)

‑1/2

Rr＝R     (2)

利用式(3)将左相机采集的末端执行器图像的极点e1移动到无穷远处使双目视觉的极线达到水平状态：式中，T为右相机相对于左相机的偏移矩阵，||T||为矩阵T的矩阵范数；

建立如式(4)所示的向量e2，其方向与相机主光轴方向正交，与向量e1垂直：式中，Tx为右相机相对于左相机在X方向上的偏移量，Ty为右相机相对于左相机在Y方向上的偏移量；

将向量e1和向量e2进行叉积运算得向量e3，如式(5)所示：e3＝e1×e2    (5)

则水平对准矩阵Rrect如式(6)所示：

将左、右相机旋转矩阵Rl和Rr分别乘以水平对准矩阵Rrect可获得左右图像进行校正的投影矩阵Rl'和Rr'，如式(7)所示：步骤2.2的具体过程为：

定义特征点P与周围像素点的关系Sp→k如式(8)所示：式中，Ip表示P点的灰度值，Ip→k表示与P点周围对应编号为k的像素灰度值，t是阈值，周围像素点就可分为d、s、b三种类型；统计d和b出现的总次数N，s出现的次数n，当N＞n时，P点则被选为候选特征点；

定义特征点P的方向θ如式(9)所示：

式中， x、y为像素点的图像坐标，I(x,y)为(x,y)位置的像素灰度值；

定义特征点P的特征描述符gm如式(10)所示：式中， p(xi)为点xi的像素灰度值，p(yi)为点yi的像素灰度值， 为m个点对(xi,yi),i＝1,2,…,m组成的矩阵， 为方向θ对应的旋转矩阵；

基于Hamming距离进行立体预匹配，定义立体图像对的ORB特征点描述子D1和D2为：D1＝x0x1…x255    (11)

D2＝y0y1…y255    (12)

式中，x0x1…x255和y0y1…y255为二进制串；

则Hamming距离S(D1,D2)如式(13)所示：S(D1,D2)越小表示Hamming距离相似度越高；

步骤2.3的具体步骤如下：

(1)对匹配对集UN按照Hamming距离相似度做降序排列；

(2)选取前n组较高质量的匹配对子集M；

(3)将匹配对子集M等分成t(t＞m)份，从中抽取m+1份并从每份中抽取一组匹配点对构成样本集S；

(4)从样本集S中抽取m组匹配点对求出临时候选模型F：设(x,y,1)和(x',y',1)为一对正确匹配点对的齐次坐标，将m组匹配点对代入式 中，求解F矩阵参数；

(5)验证第m+1组匹配点对是否为该模型的支撑集，若是，则继续寻找临时候选模型F的支持集，否则重新选取样本集M；

(6)通过候选模型F和误差阈值W检测剩余匹配点对，得到候选模型F的支撑集和满足候选模型F的匹配点对数即模型内点数d；

(7)根据终止条件判断是否结束迭代过程，否则重复步骤(2)～(6)；

终止条件：当内点数超过所设定的阈值或者k次采样后的内点数与k‑1次采样后得到的内点数相比没有增加，返回包含内点数最多的候选模型参数矩阵F以及该模型的支持集；

根据式(14)计算候选模型F所对应匹配点对的Sampson距离d：T T

式中，m＝(u,v,1) 为点m的齐次坐标，m'＝(u',v',1) 为点m'的齐次坐标；

设定阈值k，将符合d＜k的点作为该候选模型F的内点，将包含内点数最多的候选模型F进行最小二乘法得到两幅图像匹配点对的目标变换模型H：式中(u,v,1)和(u',v',1)分别为两幅图像中一对正确的匹配点对m(u,v)和m'(u',v')的齐次坐标；

所述步骤2.4的具体过程为：

采用张正友标定法对双目视觉系统进行相机标定，通过将标定板中特征点的像素坐标和三维坐标代入式(16)，求解出相机的内外参数:式中，s为任意数，A为相机的内参数矩阵，R为相机坐标系相对世界坐标系的旋转矩阵，T为相机坐标系相对世界坐标系的平移矩阵，(u,v,1)表示特征点在图像上投影点的齐次坐标，(XW,YW,ZW,1)为特征点在世界坐标系下的齐次坐标(单位：m)；

假定末端特征点P在左右相机的投影点分别为pl和pr，则根据投影定理得到式(17)：式中：PW为特征点P的世界坐标，Ml＝Al[Rl Tl]和Mr＝Ar[Rr Tr]分别为左右相机的投影矩阵：Al和Ar分别为左右相机的内参矩阵，Rl和Rr分别为左右相机坐标系相对于世界坐标系的旋转矩阵，Tl和Tr分别为左右相机坐标系相对于世界坐标系的平移矩阵；sl，sr为比例因子，将上式展开来则如式(18)(19)所示：式中，(ul,vl,1)，(ur,vr,1)分别为特征点P在左右图像上投影点的齐次坐标；(X,Y,Z,1)为特征点P在世界坐标系下的齐次坐标(单位：m)； 表示左右投影矩阵Ml和Mr的第i行，第j列；

联立式(18)和式(19)，可得式(20)：

A*PW＝B    (20)

式中：

从而得式(21)：

T ‑1 T

PW＝(AA) AB   (21)

将特征点P的左右像素坐标代入式(21)，求得特征点P的三维坐标(X,Y,Z)；

将特征点P的旋转矩阵R表示为如式(22)所示：式中，α为绕世界坐标系X轴旋转的俯仰角(单位：rad)，β为绕世界坐标系Y轴旋转的翻滚角(单位：rad)，γ为绕世界坐标系Z轴旋转的航向角(单位：rad)；

则可求出末端姿态角α、β、γ，如式(23)所示：根据水果分拣并联机器人的运动特点，其运动过程中α和β相对于定坐标系不变，只有γ在变化，故该并联机器人的末端位姿参数可表示(x,y,z,γ)，其中x、y和z的单位为m，γ单位为rad；

至此，水果分拣并联机器人的末端位姿参数求解已完成；

所述步骤3.2中，采用GWO和LM算法混合优化RBF神经网络权值以提高网络预测精度，GWO和LM算法混合优化RBF权值的具体步骤如下：(1)建立RBF神经网络，设置测试误差阈值ε，阻尼因子μ，阻尼系数β，最大迭代次数K，初始迭代次数k＝0；

(2)最近邻聚类算法确定RBF神经网络基函数的中心、宽度和初始权值w；

(3)输入权值构建新的RBF神经网络；

(4)计算网络目标误差函数E(w)：

式中，ti、oi分别为第i层网络输出层的实际输出和期望输出；

(5)计算雅克比矩阵J(w)：

式中，ei(w)＝ti‑oi，表示第i层网络输出误差，wi为第i层网络权值；

k+1 k T

(6)计算权值向量调整值Δwi并进行权值更新wi ＝wi+Δwi，其中Δwi＝‑[J (w)J(w)+‑1 TμI] J(w)ei(w)，J(w)为雅克比矩阵，μ为阻尼因子，I为单位矩阵，ei(w)为第i层网络输出误差；

(7)判断是否E(w)＜ε，满足则结束训练，否则执行步骤(8)；

k+1 k+1 k

(8)计算E(w )，判断是否E(w )＜E(w)，满足则令μ＝μ/β，k＝k+1，并执行步骤(9)，否则令μ＝μ*β，并执行步骤(6)；

(9)初始化灰狼种群[w1,w2,…,wN]，设置最大迭代次数T；

(10)计算每个灰狼的适应度值MSE(w)，并按照适应度升序排列，选择前三名灰狼为α灰狼、β灰狼、δ灰狼：式中， 为第t次迭代的第i层网络期望输出， 为第t次迭代的第i层网络实际输出；

(11)在定义域内随机产生α灰狼、β灰狼、δ灰狼的位置，根据式(27)计算其余灰狼ω位置并更新参数a，A，C：式中，Dα、Dβ、Dδ分别为α灰狼、β灰狼、δ灰狼与猎物间的距离向量，Xα、Xβ、Xδ分别为α灰狼、β灰狼、δ灰狼当前位置，Xω(t)为第t次迭代的ω灰狼位置，Xω(t+1)表示ω灰狼更新后的位置；r1、r2为[0,1]内的随机数，t为当前的迭代次数，T为最大迭代次数；

(12)判断是否达到最大迭代次数或精度，若达到，执行步骤(3)；否则执行步骤(10)；

所述步骤3.3的具体过程为：将GWO算法和LM算法混合优化后的RBF神经网络应用于视觉盲区末端位姿检测，首先通过运动学正解获取当前末端执行器的位姿，然后利用混合优化的RBF神经网络对运动学正解进行位姿误差补偿，提高视觉盲区的末端位姿检测精度。