1.一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,包括如下步骤:步骤一、在果园中,采用深度相机拍摄火龙果RGB图像与深度图像;
步骤二、标注图像:对步骤一中的拍摄的火龙果RGB图像进行标注,将目标采摘行的多类火龙果果实区分为目标采摘行果实和非目标采摘行果实;
步骤三、采用数据增强扩充标注的火龙果数据集,并将其划分出训练集与验证集;
步骤四、构建WGB‑YOLO网络模型;
步骤五、采用训练集训练WGB‑YOLO网络模型,获得WGB‑YOLO火龙果检测模型;
步骤六、采用验证集验证WGB‑YOLO火龙果检测模型的检测精度,如果满足检测精度要求,进入下一步;若不满足则重复步骤一至步骤六,直至获得符合检测精度要求的WGB‑YOLO火龙果检测模型;
步骤七、将符合检测精度要求的WGB‑YOLO火龙果检测模型部署到密植果园果实采摘机器人移动终端系统上,用于检测目标采摘行的多类别火龙果。
2.根据权利要求1所述的一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,所述步骤一中,采用的深度相机为D435i深度相机。
3.根据权利要求1所述的一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,所述步骤二中,标注RGB图像具体包括如下步骤:(1)根据机器人果园现场采摘需求与火龙果遮挡情况,将果实类别分为ON、FCC、OB和NF;其中,ON表示无遮挡果实,FCC表示彼此连接果实,OB表示遮挡果实,NF非目标采摘行果实;
(2)采用labelIMG软件标注RGB图像中所有果实,将果实类别划分为ON、FCC或OB,并生成XML文件;
(3)根据深度相机的深度像素单位I与深度图像像素PM,计算图像像素点的距离DM:DM=I·PM;
(4)根据果园种植火龙果的行间距,设置非目标采摘行的阀值距离;若果园种植火龙果的行间距为L,那么非目标采摘行的阀值距离设置为L/2;
(5)读取一张RGB图像的XML文件中所有果实标注框,从对应的图像像素点的距离DM中读i取每一个标注框内像素点距离信息bbox:
式中,i是一张RGB图像中果实标注框的序号, 是标注框的左上角点坐标,是标注框的右下角点坐标;
i i
(6)计算每个标注框内像素点距离大于阀值距离的比例r ,如果比例r 大于50%,那么则在该图像的XML文件中将该果实标注框的标签修改为NF:i
式中,n,m分别是第i个标注框内像素点距离信息的横向与纵向位置索引号;bbox是第ii i个标注框内像素点距离信息;Ibbox是bbox与L/2比较计算后的二值化结果;
(7)对每一张RGB图像执行步骤(5)~(6),直到全部完成。
4.根据权利要求1所述的一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,所述步骤四中,WGB‑YOLO网络模型的构建方法,包括如下步骤:
1)由Conv与WFE‑C4构建WGB‑YOLO网络模型的主干网络,将5组Conv与WFE‑C4依次连续实现特征图尺度压缩1/2,并获得不同尺度特征图P1~P5;
2)以Conv、GF‑SPPF与WFE‑C4为基础采用加权双向特征金字塔网络建立Head网络,实现图像特征层的高效提取;
3)经过步骤2)构建的WGB‑YOLO网络,其检测头与损失函数采用与YOLOv3网络相同的配置。
5.根据权利要求4所述的一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,所述WFE‑C4是在Bottleneck网络的基础上建立的,主要包括如下步骤:a)构建上边翼网络结构;
上边翼从特征通道角度增强特征,首先进行全局平均池化将特征图尺寸从C×H×W压缩C×1×1,并进行conv1d计算,与输入特征图相乘获得上边翼通道增强特征Wup:Convk,c(X)=SeLU(BN(conv2dk,c(X)));
其中,X是特征图,GAP是全局平均池化,h是特征图的高度,w是特征图的宽度,k是卷积核大小,SeLU是缩放指数线性单元,BN是批归一化,C、H与W分别是特征图的通道数、高度与宽度;
b)构建下边翼网络结构;
下边翼从空间角度增强特征,首先对特征图从通道维对特征图求平均值,再采用核大小7x7的conv2d计算,获得通道注意力特征;该通道注意力特征与输入特征图相乘获得下边翼空间增强特征Wdown:c)两个边翼增强特征与主通道Bottleneck网络按通道1维拼接,然后进行批归一化与MetaAconC激活函数计算,再经过一次卷积计算获得输出特征FWFE‑C4:FWFE‑C4=Convk=1(MetaAconC(BN(Xc)));
其中,||是拼接运算符,Btn是Bottleneck网络,W1与W2是计算权重,p1与p2可调整学习参数,β是自适应函数。
6.根据权利要求4所述的一种基于WGB‑YOLO的目标采摘行中多类火龙果检测方法,其特征在于,所述步骤四中,GF‑SPPF是在SPP基础上改进获得的,主要包括如下步骤:(a)在GF‑SPP网络中,采用核大小为5x5的平均池化代替SPP网络中的核大小为5x5最大池化;
(b)采用全局平均池化代替核大小为13x13的最大池化,再经过两次核大小1x1的卷积计算与sigmoid激活函数计算,获得全局强化特征GF:GF(X)=Convk=1,c=c1(δ(Convk=1,c=c1/2(GAP(X))));
(c)平均池化与最大池化后的特征图与全局强化特征GF做点乘计算,获得平均池化与最大池化后的增强特征图AGF与MGF:(d)原始输入特征图、AGF与MGF按维度1连接后输出结果特征图FGF‑SPP: