1.一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,所述方法基于传感器融合目标检测的作物行间作业导航系统进行,所述系统包括有行进设备、相机、激光雷达、IMU传感器、轮胎转向角传感器和总控制器;
所述方法具体包括以下步骤:
S1、在行进设备上设置相机的拍摄角度以及激光雷达的位置和探测角度;
S2、初始化相机、激光雷达和IMU传感器;
S3、联合标定相机、激光雷达和IMU传感器的坐标系;
S4、利用视觉目标检测算法识别目标作物;
S5、进行点云预处理,基于密度法对激光雷达点云进行聚类,通过体积阈值判断检测目标与障碍物;
S6、利用S5中所得的目标检测结果进行决策融合,获取目标点的相对坐标;具体包括以下内容:S6.1、获取激光雷达数据发布帧率与相机数据发布帧率,取其帧率较低者帧率作为同步频率基准,通过二者数据时间戳,将相近时间数据按照同步频率进行匹配,同时删除多余数据;通过旋转矩阵R’和平移矩阵T’,修正激光雷达与相机之间的位置偏差与角度偏差;
S6.2、将带有标签的激光雷达3D包围框与目标检测包围框空间位置进行投影匹配,获得二者在三维空间中位置关系,将二者位置关系分为独立与相交,并求取相交3D包围框与目标检测包围框二者目标框交并比;
S6.3、通过目标框位置关系对检测目标真实位置进行判断,获取所有不相交包围框,认定其皆为单独目标,输出其包围框为真实框;获取所有目标包围框交并比小于重合阈值的包围框,认定其也为单独目标,输出其包围框为真实框;获取所有目标包围框交并比大于重合阈值的包围框,以其二维包围框作为真实框,删除与之相交且交并比大于重合阈值的3D包围框;
S6.4、将上述所有真实框的几何中心位置作为导航点,输出其导航点坐标(xn,yn,z)n ;
S7、行进过程中,对环境进行识别,依据环境作物位置自动切换行走模式;
S8、利用IMU传感器获取行进设备的机械运动状态;
S9、计算S8中所得运动状态与规划路径的差值,进行滑模控制跟踪,完成作物行间作业导航工作,具体包括以下内容:S9.1、使用Sigmoid滑模切换函数对其进行设计,设S1为x’切换函数,S2为θ’切换函数:(19)
上式中,k为大于0常数,α为角度参数,τ为大于0常数,vr为驱动轮速度;T
S9.2、跟踪路径时发送速度指令[vd,wd] ,则小车左右侧驱动轮的角速度ω1,ω2,具体公式如下:‑1
ω1=(vd(t)‑wd])r (20)
‑1
ω2=(vd(t)+wd])r (21)
式中,r表示行走距离;通过如上控制参数与IMU数据获得当前行进修正参数,从而进行路径跟踪。
2.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,S3中所述联合标定具体包括以下内容:S3.1、相机坐标系标定:对相机进行标定,获取相机的内参;
S3.2、相机坐标系与激光雷达坐标系联合标定:将相机坐标系表示为OC‑XCYCZC,将激光雷达坐标系表示为OL‑XLYLZL,将激光雷达坐标系与摄像机坐标系之间的位姿关系分解为绕坐标原点O的旋转和平移,具体计算公式如下:(1)
其中,R为旋转矩阵,代表激光雷达坐标系与摄像机坐标系之间的角位移关系;T为平移矩阵,表示激光雷达坐标系原点在摄像机坐标系中的坐标,代表激光雷达坐标系与摄像机坐标系之间的相对位置关系;所述旋转矩阵R和平移矩阵T通过空间点匹配方案获取;
S3.3、激光雷达坐标系与IMU坐标系联合标定:将IMU坐标系表示为OU‑XUYUZU,IMU坐标系与激光雷达坐标系方向一致,因此转换关系为:(2)
通过卷积运算方法消除IMU坐标系与激光雷达坐标系的位置偏差,获得旋转矩阵R’和平移矩阵T’。
3.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,所述S4具体包括以下内容:S4.1、采集多种环境、条件下的目标农作物图像,构建数据集,并将数据集划分为训练集和验证集;
S4.2、基于S4.1中所得训练集,采用随机梯度下降法对视觉目标检测网络进行训练,并利用验证集对训练后的网络进行验证;当验证集的分类精度停止增加时,则降低学习率,直至通过调整学习率不再提高识别率为止;
S4.2、使用训练权重文件对环境进行检测,获取环境中目标图像信息,赋予目标2D包围框与标签,获得目标在图像坐标系位置信息。
4.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,所述S5具体包括以下内容:S5.1、保留激光雷达正前方前云,去除地面点云,通过质心体素进行降采样处理,根据目标种植特征与机械运行速度进行点云分割;
S5.2、基于点云密度算法对点云进行处理,具体聚类原理如下:S5.2.1、初始化邻域c、阈值ρ,将整体点云集合记为D,将其变量M赋值为J,聚类编号N=
0;
S5.2.2、从D集合中取一点a,如果M=F,则选择其它点;若M=K,则判断其是否为核心点;
其中,F表示未访问,K表示已访问;
S5.2.3、若该点半径L范围内点云数量小于ρ,则其为噪声点,计N=−1;若点云数量大于ρ,寻找其密度可达点,并对其编号N=N+1,计其中所有点M=K;
S5.2.4、重复S5.2.2、S5.2.3,直至所有点云M=K,则聚类完成,输出所有点云簇Ni;
S5.3、聚类完成后,通过点云簇边界点赋予其垂直于地面的四条框线,根据其地面点赋予其底面与顶面上的包围线,由此获取其3D包围框;
S5.4、通过3D包围框的三维坐标获得其横向宽度以及纵向高度,并计算其点云簇体积;
S5.5、根据目标作物的大致宽度、高度设定一检测阈值,然后根据检测阈值对已聚类点云进行分类,在阈值范围内的点云簇赋予目标标签;非阈值内目标不赋予标签作为障碍物;
过滤小于行进机械轮廓通过性最小离地间隙,接近角大小的点云簇。
5.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,所述S7具体包括以下内容:S7.1:
S7.1.1、系统启动并初始化,对环境进行识别,将前方的目标按照角度划分为0 90°点~云集合Q,以及270 360°点云集合P,用来区分左右目标;当点云集合I或J其中一个没有目标~导航点时,机器开始单行识别开始作业;
S7.1.2、识别ln值最小点Qn或Pn,记录其坐标为O(X0,Y0,Z0),取雷达坐标A点为原点,则导航点坐标为(r‑X0,Y,0),坐标系以激光雷达坐标系表示r为A点据障碍物点X轴距离;
S7.1.3、重复S7.1.2寻找下一导航点,直至驶入行末,进行行末转向,开始作业;
S7.2:当机械行走至行末,需要转入下一行以继续作业;
S7.2.1、当目标点Qn,Pn从雷达视野中消失,且点云集合Q与P都无目标导航点时,系统认为已行走至行末,并进行行末转向作业;
S7.2.2、若开始作业时,取以变量i,若点云集合P没有目标则计i=0,若点云集合Q没有目标则i=1;
S7.2.3、当i=0时,机器向前行走一段路径r,其长度为导航点B至目标点Qn直线距离,完成后向右转90°,行走一段路径2r,再向右旋转90°,此时转向完成,并继续进行行间行走作业,i=i+1;
当i=1时,则行走距离为B至点Pn距离,转向方向向左,且转向完成后i=i‑1;
S7.2.4、在完成第一次转向作业后,其后转向算法行走距离r’取目标点坐标Qn(xq,yq,zq),Pn(xp,yp,zp)在水平方向上投影的x轴距离,即PnQn在x轴上的投影长度;
S7.3:
S7.3.1、行驶至行间后将前方的目标按照角度划分为0°~90°点云集合Q,以及270°~
360°点云集合P,用来区分左右目标;
S7.3.2、根据目标检测结果,输出目标检测的边界框或者雷达的3D包围框中心点与雷达之间距离l,目标中心点作为标记点n;
S7.3.3、选取0°~90°,270°~360°中标记点中ln值最小的点记为Qn,Pn,将其作为导航点;
S7.3.4、获得Qn,Pn坐标(xr,yr,zr),(xl,yl,zl),雷达坐标点为原点A并求出其中点在雷达高度上的投影B(xm,ym,0)作为导航点,计算公式如下:(9)
S7.3.5、雷达坐标A(X,Y,Z)导航点B(xm,ym,Z)的连线AB即为路径,重复以上步骤,直至行走至行末;
S7.3.6、当单侧目标Pn出现漏检时,其左侧目标点位置向前移动至点Pn’,其导航点从B点向前移动至B’点,若再次出现漏检,则目标点继续前移至点Pn’’,导航点向前移动至点B’’;S7.3.7、当双侧第一组目标Qn,Pn都出现漏检时,系统直接选取下一组导航点Qn’,Pn’,其导航点从B点向前移动至B’’点;S7.3.8、基于上述内容,得出原始路径AB与漏检路径AB’、AB’’形成锐角三角形,若漏检数目增加,则∠BAB’’<∠BAB’,即偏航角随漏检距离增加而减小,此路径更加贴近原始路径;
S7.4:
S7.4.1、在行末检测完成之后,进行环境目标检测,当i=1,点云集合P没有导航点,Q有导航点;或i=1,点云集合Q没有导航点,P有导航点时,认为此行为结束行;
S7.4.2、当行进至某一点时,无法检测到任何导航点,则继续向前行走距离r,若仍无目标则停止运动;
S7.5:
在上述S7.1‑S7.4中行驶时,当行进路径中出现一无标签3D包围框,且其没有大于重合阈值的2D包围框,则不将其作为导航点,将其作为障碍物处理,然后采用基于6阶贝塞尔曲线的绕障路径对其进行避障路径规划。
6.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法,其特征在于,所述S8具体包括以下内容:S8.1、导航标定线的角度和方向控制轮式机械的电机控制器,通过控制前轮转向角和电机转速来控制植保机械的转向和移动;车轮转角和车身转角之间的关系式为:x’(t)=v(t)cosφ (t)(10)
y’(t)=v(t)sinφ (t)(11)
φ’(t)=v(t)tanα(t)/W(12)S=W/tanα(13)
式中,α为前轮转角,φ为航向角,S为转弯半径,W为前后轮轴距,式(10)‑(13)表示输出位置和输入控制变量速度和前轮偏角之间的关系;
S8.2、通过标定矩阵,将雷达坐标系与IMU坐标系偏差修正,利用IMU三轴加速度信息获得瞬时速度,通过IMU三轴角度信息获得机械运行时的俯仰角、翻滚角、航向角信息;
S8.3、将底盘角速度表示为ω ,整体速度表示为v,左侧轮速度表示为v1,右侧轮速度表示为v2,左右轮间距表示为U,可得任意时刻运动状态公式为:v=v1+v2/2(14)
ω=v1‑v2/U(15)
S8.4、当规划路径坐标为(x,y),航向角为θ时,则轴向偏移距离(x’,y’),航向角偏移为T Tθ’,取位姿控制参数m=(xr,yr,θr) ,速度控制参数n=(vr,wr) ,角度角速度关系如下所示:(16)
(17)
联立公式(16)与公式(17)计算得角度控制方程:(18)。