利索能及
我要发布
收藏
专利号: 2023110153695
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:具体步骤如下:

步骤一、将龙门支架横梁固定架设在采茶行进机构的机架上,位于茶垄上方;将导轨固定在龙门支架横梁上,在龙门支架横梁上固定RGB‑D相机、加速度计一和沿导轨等距布置的多个仿形收获装置;所述的仿形收获装置包括自行走机构、直动件和微元仿形收获末端,直动件和微元仿形收获末端由自行走机构驱动沿龙门支架横梁移动;所述的微元仿形收获末端包括收获框和割刀;收获框由直动件驱动升降;割刀安装在收获框底部;收获框上固定有加速度计二;

步骤二、各仿形收获装置的直动件自动调整微元仿形收获末端至初始高度位置,龙门支架横梁上RGB‑D相机扫描下方茶陇的宽度,控制器根据RGB‑D相机反馈的茶陇宽度、微元仿形收获末端的宽度确定茶陇上方所需仿形收获装置数量,然后控制中间相应数量仿形收获装置的自行走机构沿龙门支架横梁移动至茶陇上方;

步骤三、采收过程中,通过RGB‑D相机扫描茶蓬面获得深度图像;

步骤四、从深度图像中提取各割刀的深度信息与各割刀前的待采区域蓬面深度信息,并通过半径滤波方法剔除离群点,得到各割刀深度信息图像与各割刀前待采区域蓬面深度信息图像;通过加速度计二获取割刀的竖直方向加速度,采用卡尔曼滤波算法,以割刀深度信息为测量数据,结合割刀的竖直方向加速度状态递推校正割刀深度信息图像,同时,通过加速度计一获取RGB‑D相机的竖直方向加速度,采用卡尔曼滤波算法,以待采区域蓬面深度信息为测量数据,结合RGB‑D相机竖直方向加速度状态递推校正待采区域蓬面深度信息图像;然后,对各待采区域蓬面深度信息采用RANSAC算法拟合一条水平直线作为初步采收切割深度基准s;

步骤五、从深度图像中提取所有割刀前方蓬面的RGB信息,得到茶蓬面RGB信息图像;将茶蓬面RGB信息图像中深度信息位于上方预设范围的像素直接分类为鲜叶,下方预设范围的像素直接分类为背景,剩余图像像素选择鲜叶与背景相差较大的颜色分量作为分割依据,通过变阈值K‑means聚类算法分割为背景与鲜叶两种聚类类别,然后计算鲜叶像素的比例P;

步骤六、根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像,从茶蓬面深度信息图像中提取茶鲜叶竖直方向深度方差平均值Var;

步骤七、建立优化最佳割刀仿形采收切割深度基准S的BP神经网络模型,并进行训练和验证;

步骤八、采收过程中,实时拟合各割刀前方待收获区域的初步采收切割深度基准s,获得茶蓬面鲜叶像素比例P及竖直方向深度方差平均值Var,输入到训练好的BP神经网络模型中,实时输出各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S,并实时通过采用卡尔曼滤波算法校正后的割刀深度信息图像获取各割刀位置信息;

步骤九、根据各割刀位置信息和BP神经网络模型输出的各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S,采用线性自抗扰控制方法得到各割刀仿形采收切割深度的实际控制量;

步骤十、各仿形收获装置的直动件实时根据实际控制量u自动调整微元仿形收获末端的割刀切割深度,实现各割刀前方待收获区域蓬面的自动仿形采茶。

2.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:所述的自行走机构包括旋转驱动件、行走块和滚轮;所述的滚轮铰接在行走块底部,并与导轨构成滚动摩擦副;滚轮由旋转驱动件驱动;直动件的底座与行走块固定。

3.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:所述导轨的两端均固定有限位块,收获框的侧挡板上固定有反光条。

4.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:步骤五中剩余图像像素通过变阈值K‑means聚类算法分割为背景与鲜叶两种聚类类别,并计算鲜叶像素的比例P,具体步骤如下:(1)在剩余图像像素样本中,设定颜色空间距离阈值的初始值,并设定K‑means聚类算法的最大迭代次数;然后随机挑选两个像素样本,以具有分割依据颜色分量较小值的像素作为初始背景聚类中心,另一个像素为初始鲜叶聚类中心;

(2)通过K‑means聚类算法将剩余图像像素分割为背景与鲜叶两种聚类类别,然后判断背景聚类中心和鲜叶聚类中心的颜色空间欧式距离是否大于颜色空间距离阈值,若背景聚类中心和鲜叶聚类中心的颜色空间欧式距离大于颜色空间距离阈值,则分割完成,否则执行步骤(3);

(3)判断迭代次数是否大于设定最大迭代次数,若大于最大迭代次数,则减小颜色空间距离阈值,回到步骤(2),否则将分散程度最大的聚类类别中具有分割依据颜色分量最大值的像素作为新的鲜叶聚类中心,将分散程度最大的聚类类别中具有分割依据颜色分量最小值的像素作为新的背景聚类中心,回到步骤(2)。

5.根据权利要求4所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:在对下一个茶蓬面RGB信息图像进行像素分割时,以当前颜色空间距离阈值作为K‑means聚类算法的颜色空间距离阈值初始值。

6.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:步骤六具体步骤如下:(1)根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像,将茶蓬面深度信息图像按照等面积分成m个区域,计算各区域内的点云竖直方向深度方差式中,n为区域的像素数量;xi是第i个像素的竖直方向深度; 是该区域像素的竖直方向深度平均值;

(2)计算m个区域的点云竖直方向深度方差的平均值

式中,Var(xj)为第j个区域的点云竖直方向深度方差。

7.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:步骤七具体步骤如下:(1)选取多个不同茶蓬面,针对每个茶蓬面,分别获取竖直方向深度方差平均值Var、鲜叶像素比例P及位于各割刀前方待收获区域的初步采收切割深度基准s,并人工确定位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S,从而建立包含竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s和位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S的数据集;

(2)构建BP神经网络模型,以竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s为输入,各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S为输出;将数据集分为测试集与验证集,对BP神经网络模型进行训练和验证。

8.根据权利要求1所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:采用线性自抗扰控制方法得到割刀仿形采收切割深度实际控制量的具体步骤如下:(1)以割刀位置与BP神经网络模型输出的割刀前方待收获区域的最佳割刀仿形采收切割深度基准的差值h和差值变化率v为状态变量,建立控制对象的动力学控制方程:式中,u为输出的实际控制量,b为控制量放大倍数,f(t)为总扰动,为差值h的导数,为差值变化率v的导数;

(2)由于控制对象的动力学模型为二阶模型,建立三阶扩张状态观测器状态空间如下:

式中,z1为差值h的估计值,z2为差值变化率v的估计值,z3为总扰动f(t)的估计值,b0为控制量放大倍数b的估计值,fh为总扰动中通过加速度计一测量RGB‑D相机受垄沟起伏不平干扰的干扰信号的导数,为估计值z1的导数, 为估计值z2的导数, 为估计值z3的导数;

差值h为扩张状态观测器的输入,且在扩张状态观测器中输入fh;β01、β02、β03为扩张状态观测器估计误差的增益;

(3)设计线性自抗扰系统控制器,具体如下:

首先,建立下式:

式中,r1为差值h的设定目标值,设为0;r2为差值变化率v的设定目标值,设为0;e1为设定目标值r1与估计值z1的差值,e2为设定目标值r2与估计值z2的差值;

然后,设计控制器控制量初步输出值:

u0=kp*e1+kd*e2

式中,kp为比例调节系数,kd为微分调节系数;

最后,设计线性自抗扰系统控制器实际控制量:

9.根据权利要求8所述一种基于RGB‑D相机的自动仿形采茶方法,其特征在于:在实际控制量u与控制对象之间设置死区。