1.一种基于机器视觉的油茶果采摘机器人,其特征在于:包括运输平台、六自由度机械臂、末端执行器、输送管、收集筐和视觉装置;所述收集筐、六自由度机械臂分别安装在运输平台的前部和中部;所述末端执行器安装在六自由度机械臂的第六轴上,并通过输送管与收集筐相连通;
所述末端执行器包括左机械臂杆、连接杆、右机械臂杆、外部齿梳、果实轨道、电机、行星轮机构、大轴承、小轴承;所述行星轮机构包括太阳轮、行星轮和齿轮圈,所述电机安装在左机械臂杆内并与行星轮机构的太阳轮相连接,太阳轮与行星轮相啮合,齿轮圈套在太阳轮和行星轮的外圈,齿轮圈与外部齿梳相连接;外部齿梳包括连接环和仿手指钩子,外部齿梳的连接环与左机械臂杆、右机械臂杆之间均设有大轴承;所述外部齿梳内有果实轨道,果实轨道与右机械臂杆之间装有小轴承,果实轨道为圆柱形斜坡状,即圆柱的径向进行切割,从而使得其轴向形成一个斜坡,斜坡的低端与输送管相连。
2.根据权利要求1所述的油茶果采摘机器人,其特征在于:所述外部齿梳的仿手指钩子安装在连接环的圆周上,整个圆周上有三行仿手指钩子,每两个仿手指钩子之间的距离根据成熟油茶果的大小进行设计;所述仿手指钩子的外形为类似人的手指,其安装的一端为垂直于圆周的圆柱,另一端是带有弧度的圆柱;所述外部齿梳的连接环由两个圆环和三条弧形板组成,两个圆环用于连接两端的轴承,三条弧形板夹在两个圆环之间,弧形板彼此间相差60°。
3.根据权利要求1所述的油茶果采摘机器人,其特征在于:所述视觉装置包括工控机、双目立体相机和相机架,工控机安装在运输平台上,双目立体相机通过相机架安装在六自由度机械臂上。
4.根据权利要求1所述的油茶果采摘机器人,其特征在于:所述六自由度机械臂包括一轴底座、二轴机械臂、三轴机械臂、四轴机械臂、五轴机械臂关节、六轴末端执行器,且依次相连接;一轴底座固定在运输平台上方的中部位置,在一轴底座下方的运输平台中装有机械臂控制电路板,在机械臂连接的关节处有舵机、减速器和电位计;进行油茶果采摘的末端执行器安装在第六轴上。
5.根据权利要求1所述的油茶果采摘机器人,其特征在于:所述运输平台的四周装有距离传感器、红外线传感器,内部装有速度传感器、加速度传感器、位置传感器和GPS定位器;
距离传感器和红外线传感器用于收集机器人周围的环境信息并反馈传输给机器人的控制系统;速度传感器、加速度传感器和位置传感器用于收集机器人当前的移动速度和位置信息并反馈传输给机器人的控制系统;GPS定位器用于收发机器人的位置和方向信息;控制系统根据接收到的传感器数据控制机器人移动。
6.一种权利要求1~5中任一项所述的油茶果采摘机器人的应用,其特征在于包括下述步骤:
(1)前期准备:根据农场的实际种植情况对农场进行建模,并根据建模后的地图进行路径规划,将规划好的路径信息导入机器人的控制系统内,使机器人能自主的按照规定好的路径行进和停留作业;
(2)在田地中工作时,油茶果采摘机器人从指定位置开始,工控机中的控制系统根据规划好的路径信息发出控制信号给运输平台,从而控制机器人的整体移动,在移动过程中红外线传感器和距离传感器负责感应前进方向上的障碍物信息,速度、加速度和位置传感器负责实时检测机器人当时的速度、加速度和位置信息,GPS定位器将实时收发机器人当前的定位和姿态,所有传感器信息在机器人工作过程中都实时反馈到机器人的控制系统中,机器人控制系统将实时监控机器人的状态,若传感器检测到障碍物时,机器人能自主偏离预定轨迹,并根据红外线传感器和距离传感器所获得的环境信息进行自主的避障,若检测到没有足够空间进行避障时,机器人会对远程监控的工作人员进行提醒,前方障碍物移除后便可继续按照规定路线进行;
(3)当机器人到达设定好的油茶果树附近时,机器人将转动面向油茶果树,双目立体相机对油茶果树进行拍摄,然后将图像传入机器人的图像处理器中对图像中的油茶果进行识别和定位,机器人根据识别出的油茶果位置信息对六自由度机械臂进行控制,将末端执行器送至目标油茶果附近;
(4)末端执行器开始运作,末端执行器的外部齿梳开始回转,机械臂继续将末端执行器向目标油茶果不停靠近,该过程中双目立体相机继续拍摄并把图像传给机器人的图像处理器,当目标油茶果掉落后,机器人再根据图像处理器所得到的图像信息进一步控制机械臂运作至下一目标油茶果,并对其进行采摘,采摘后的油茶果会掉入末端执行器的果实轨道中并通过输送管进入收集筐内;
(5)当双目立体相机拍摄到当前油茶果树中无可采摘的油茶果时,机器人继续按着预定轨道前进,到下一棵油茶果树前并重复上述采摘动作。
7.根据权利要求6所述的油茶果采摘机器人的应用,其特征在于:所述末端执行器的工作步骤是:工控机完成运动轨迹的规划后,六自由度机械臂将末端执行器带到油茶果前,电机启动,与电机相连的太阳轮转动以带动行星轮转动,从而带动齿轮圈转动,与齿轮圈相固定连接的外部齿梳便可进行回转运动,进而带动仿手指钩子转动;仿手指钩子在转动过程中就会把油茶果从树上采摘下来,并在仿手指钩子运动到圆周轨迹的最高点时,油茶果掉落到果实轨道。
8.根据权利要求6所述的油茶果采摘机器人的应用,其特征在于:所述双目立体相机的视觉识别,包括下述步骤:
(1)前期训练:拍摄不同背景、不同光照强度下的油茶果在油茶果树上的照片,然后将照片输入到计算机中进行图像预处理,包括图片去噪、滤波,再对图像的颜色差进行加强;
将处理后的图片用labelimg软件进行标注,标注后的结果是使用矩形框将一束油茶果框起来,这也是末端执行器所要作用的对象;将标注好的照片作为训练集、测试集与验证集投入到YOLOv5算法中进行学习,根据实现标注好的矩形框对生成ROI(Region of Interest)区域不断修正,使得YOLOv5算法最终得到的是以油茶果树为背景的油茶果的Feature Maps;
(2)图像识别过程:
(2‑1)先使用张正友标定法对双目立体相机进行标定,采集标定板不同位姿图片,提取图片中角点像素坐标,通过单应矩阵计算出相机的内外参数初始值,利用非线性最小二乘法估计畸变系数,再使用极大似然估计法优化参数,从而完成相机的标定;
(2‑2)将油茶果图像实时传输到工控机中,工控机对相机传输过来的图像进行降噪、滤波、灰度化的图像预处理;再利用已经训练好的YOLOv5的学习模型对相机传输过来的照片进行识别,在照片中框出油茶果的位置;
(2‑3)建立三维点云:双目立体相机获得的图像可分为左右两幅图像,在相机标定完成之后,需要将左右两张图像合并成一张图像,使用SGBM算法进行立体匹配,得到油茶果图片的视差图;双目立体相机拍摄的图像包含油茶果在图像中的位置信息(u,v),且在经过对视差图进行分割之后,可获得油茶果的深度值d,根据这些信息,建立油茶果的三位点云图,再对点云图进行直通滤波、统计滤波和半径滤波的降噪处理,能得到一片噪声少且平整的油茶果三维点云;
(2‑4)规划运动轨迹:根据图像识别后确定的一束油茶果的位置,进而确定该油茶果在三维点云中的位置;读取该束油茶果的最大与最小的深度值d,两者作差之后与上述识别的Feature Maps中的矩形框形成空间中的矩形块,得出整个矩形块的八个点的空间位置,求出矩形块的质心与法向量,计算出矩形块在空间中的位姿(x,y,z,a,b,c),其中x、y、z为该矩形块质心的空间位置,a、b、c为矩形块的转动角;取矩形块的空间中的左下角与右上角两个点为运动轨迹的开始点与结束点,利用机器人的机械臂参数进行运动学反算得出六自由度机械臂各个关节的转动角度,使得末端执行器能采摘到一束油茶果的所有果实。