利索能及
我要发布
收藏
专利号: 2022109633201
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述基于深度学习与深度信息融合的葡萄采摘方法包括:采集葡萄的图片,获取RGB图及深度图,并将两者对应的像素点叠加后,输入至训练好的葡萄识别模型,得到可采摘的葡萄的ROI区域;

利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓,利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域,然后利用葡萄轮廓内的深度信息得到果梗的深度区间;

结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理,得到果梗的二值图;

将果梗的二值图与果梗的ROI区域图掩膜叠加,得到剔除背景的果梗的RGB图,再进行灰度转化、双边滤波及图像细化处理,得到果梗的骨骼图;

剔除果梗的骨骼图中边缘以及与垂直方向夹角较大的骨骼线,并筛选出最长的骨骼线计算得到的中点,为对应的二维采摘点;

以二维采摘点为中心,选取n×n的范围并遍历范围内的每个点,剔除深度值不在果梗深度区间的点,取剩余点的深度值的平均值作为采摘点的深度值;

将二维采摘点和采摘点的深度值结合,得到三维的采摘点,再配合采摘葡萄的机械臂的执行器,完成对葡萄的采摘,直至所有葡萄都采摘完成;

其中,所述利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓包括:用葡萄的ROI区域内的平均深度剔除部分背景,以从左往右、自上而下的顺序遍历葡萄的ROI区域内所有点,根据目标葡萄点的深度值与周围点深度值的特征,对目标葡萄点进行标记,根据标记点的值对图像进行二值化后,输入至canny算法中检测得到葡萄轮廓,且M(x,y)=|f(x,y)*Sobelx(x,y)|+|f(x,y)*Sobely(x,y)|;

其中,d(x,y)为在点(x,y)处的深度值,δ为深度差阈值,f(x,y)为在点(x,y)处的标记值,M(x,y)为在点(x,y)处的梯度,θM为在点(x,y)处的梯度方向,Sobelx(x,y)、Sobely(x,y)分别为水平、垂直方向上的三阶Sobel算子;

所述利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域包括:

根据葡萄的ROI区域的位置及尺寸,引入系数矩阵 并通过葡萄的ROI区域,计算获得果梗的ROI区域如下,且以YOLO格式表示:

其中,x1、y1、w1、h1表示为YOLO格式下葡萄的ROI区域,xstem、ystem、wstem、hstem表示为YOLO格式下果梗的ROI区域,ρ、σ、τ、 表示为0‑1的数值;

所述然后利用葡萄轮廓内的深度信息得到果梗的深度区间包括:

利用葡萄轮廓的深度信息结合修正系数,得到果梗的深度区间如下:

dmin≤d≤dmin+Δw;

而,

其中,d表示果梗上任一点的深度值,dmin表示葡萄轮廓内的最小深度值,(x1,y1)表示葡萄轮廓中最左侧的点,d(x1,y1)表示点(x1,y1)处的深度值,(x2,y2)表示葡萄轮廓中最右侧的点,d(x2,y2)表示点(x2,y2)处的深度值,Δw表示果梗的ROI区域帧图像像素宽度,α、β表示修正系数。

2.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述葡萄识别模型训练时,按照不同角度、不同天气状态和不同时间段采集葡萄的图片若干张,对每张图片中葡萄所在的区域进行标注,并划分为训练集图片和验证集图片,将每张训练集图片利用深度学习模型识别训练,得到葡萄识别模型,并用验证集图片对得到的葡萄识别模型进行验证。

3.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述葡萄识别模型为YOLOv5s。

4.如权利要求2所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述用验证集图片对得到的葡萄识别模型进行验证包括:通过计算葡萄识别模型的精度和召回率,并将精度及召回率绘制P‑R曲线,进一步计算出平均精度,平均精度值越大,表示葡萄识别模型越可靠;

且,

其中,Precision表示葡萄识别模型的精度,Recall表示葡萄识别模型的召回率,TP表示真的正样本数,FP表示假的负样本数,FN表示真的负样本数。

5.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述结合果梗的深度区间对果梗的ROI区域内的深度图二值化处理,得到果梗的二值图包括:对果梗的ROI区域内符合深度值在深度区间的像素点的值设为255,不符合的像素点的值设为0,得到:其中,d(x,y)表示在点(x,y)处的深度值,τ(x,y)表示在点(x,y)处二值化后的值。

6.如权利要求5所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述将果梗的二值图与果梗的ROI区域图掩膜叠加,得到剔除背景的果梗的RGB图,再进行灰度转化、双边滤波及图像细化处理,得到果梗的骨骼图,包括:灰度转化:

双边滤波:

其中,Gray(x,y)表示在点(x,y)处的灰度值,R、G、B表示每个像素中三通道的数值,a、b、c依次表示R、G、B通道上的系数,G(i,j)表示点(i,j)经双边滤波处理后输出的点,w(i,j,x,y)表示双边滤波器的系数。

7.如权利要求1所述的基于深度学习与深度信息融合的葡萄采摘方法,其特征在于:所述以二维采摘点为中心,选取n×n的范围并遍历范围内的每个点,剔除深度值不在果梗深度区间的点,取剩余点的深度值的平均值作为采摘点的深度值,公式如下:而,

其中, 表示采摘点的深度值,n表示选取的n×n范围的边长,w0、w1分别表示果梗二值2

图上左、右边界点,h表示为果梗二值图的高度,i的取值为0‑n的整数,m表示符合的点的数量,[dmin,dmin+Δw]表示果梗的深度区间。