利索能及
我要发布
收藏
专利号: 2023100964627
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种番茄采摘机器人的植株与果实检测算法,包括以下步骤:

1‑1)采集番茄图像;

1‑2)将番茄图像输入多任务卷积神经网络模型进行处理;

1‑3)在番茄图像上得到番茄的边界框、关键点、茎杆;

所述多任务卷积神经网络模型的建立方法为:

2‑1)构建数据集:构建番茄关键点数据集和番茄茎杆数据集;

2‑2)数据预处理:将番茄关键点数据集和番茄茎杆数据集进行归一化处理和数据增强操作;

2‑3)选择YOLO V5s作为基础网络模型;基础网络模型的Head网络的检测分支中加入关键点预测参数以实现边界框回归与关键点预测,在基础网络模型的Head网络中加入语义分割模块以实现番茄茎杆语义分割;基础网络模型的第16层的拼接层依次通过卷积层、上采样层、C3模块、卷积层、上采样层、卷积层、C3模块、卷积层、上采样层后连接语义分割模块;

2‑4)确定模型训练超参数,构建模型损失函数,以F1作为目标检测性能指标,以mIoU作为语义分割性能指标,以dlmk作为关键点性能指标,将数据集输入基础网络模型进行训练和测试,得到多任务卷积神经网络模型。

2.根据权利要求1所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述多任务卷积神经网络模型的建立方法还包括:2‑5)对基础网络模型进行通道剪枝:对网络模型进行稀疏训练、通道修剪、微调模型,使模型在保持模型精度的情况下,减少模型权重,加快检测速度。

3.根据权利要求2所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述步骤2‑4)中,所述F1公式为:

其中,TP表示真阳性,FP表示假阳性,FN表示假阴性;

所述dlmk公式为:

其中,n代表关键点的数量,xpi代表预测关键点的x坐标,ypi代表预测关键点的y坐标,xti代表标签关键点的x坐标,yti代表标签关键点的y坐标;

所述mIoU公式为:

其中,K代表语义分割的类别数。

4.根据权利要求3所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述步骤2‑4)中,优化器为Adam,训练周期为700次,batch size为16,图片像素为800。

5.根据权利要求4所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述稀疏训练为:运用基于L1范数的L1正则化函数约束基础网络模型的BN层系数,使BN层γ因子稀疏化,使模型在稀疏的方向上进行调整;

所述稀疏训练的优化目标为:

其中,x代表输入,y代表目标,w代表可训练的权重,l代表实际输出和目标相差的损失,|mi|代表第i层缩放因子的绝对值,λ代表稀疏率,L表示网络的总层数,h表示可训练层的函数表达式。

6.根据权利要求5所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述通道剪枝为:稀疏化训练完成后,需要确定模型修剪的比例,从而确定BN层修剪的阈值,对模型进行通道修剪。

7.根据权利要求6所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述微调模型为:运用数据集对通道剪枝完成后的基础网络模型继续训练。

8.根据权利要求7所述的一种番茄采摘机器人的植株与果实检测算法,其特征在于:所述损失函数由边界框回归损失函数、掩码损失函数、关键点损失函数、置信度损失函数组成;所述关键点损失函数为Wing loss函数;所述掩码损失函数为交叉熵损失函数。