1.一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于,包括如下步骤:步骤1,基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统;
步骤2,对堆叠串类水果抓取优先级确定的深度数据集构建与扩充,通过设计深度参照物构建了深度级别分布均匀的预训练数据集;
步骤3,基于少池化多全连接层的卷积神经网络架构的主果梗深度集分级模型构建,包括图像输入、特征提取和分类三部分;
所述步骤3具体如下:
步骤3.1,图像输入部分:在图像输入部分需要设计输入图像尺寸,基于实际主果梗深度图像的原始感兴趣区域大小的均值进行网络输入层的设计,首先统计在感兴趣区域剪切之后,尺度变换之前的获取到的区域大小,计算其高度和宽度均值,并取其整数作为网络输入图像尺寸;
步骤3.2,特征提取部分:主要包括了卷积结构和全连接结构,
卷积结构包括了无图像尺度变化的卷积层、具有图像尺度变化的最大池化层和平均池化层、ReLu激活函数,通过三次无图像尺度变化的卷积和具有图像尺度变化的池化,获取原始图像上表针主果梗深度信息的特征图;
对于卷积层,基于式(1)计算卷积层初始参数,使得卷积层的输入和输出特征图尺度一致,其中osc为卷积层输出特征图的长或宽,isc为卷积层输入特征图的长或宽,fs为卷积层滤波器的大小,pc为填充大小,sc为步长,对图像进行边缘填充,降低卷积过程中边缘信息的丢失;
对于池化层,包括了最大池化层和平均池化层,均基于式(2)计算池化层初始参数,使得池化层的输出特征图以2倍下采样输入特征图,其中osp为池化层输出特征图的长或宽,isp为池化层输入特征图的长或宽,ps为池化大小,pp为填充大小,sp为步长;
对于ReLu激活函数,基于式(3)对输入的每个元素执行阈值操作,所有小于0的值均设置为0,用以减少数据冗余,保留重要特征;
对于全连接结构,主要包括了ReLu激活函数、全连接层和丢弃层,为防止过拟合,将网络中加入了丢弃层,在训练时随机设置某些元素权值为0;
步骤3.3,分类部分:主要包括了Softmax层和分类输出层,基于检测平面到Kinect传感器的深度相机之间的距离离散化后的深度级别的数量,设计Softmax层和分类输出层尺寸;
步骤4,对主果梗深度集分级模型进行多迁移学习策略的网络训练和可视化分析的网络精度测试;
步骤5,在构建的网络模型基础上对在线主果梗深度集分级和抓取优先级确定。
2.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:所述步骤1具体如下:将Kinect传感器置于分拣系统的检测平台上方,检测平台中心轴线处,为减少硬件带来的测量误差,选择Kinect传感器的物距500~2000mm之间,靠近光轴中心,深度检测误差<
2mm的位置作为视觉检测范围,根据并联机器人水果分拣系统中,检测平面大小900*2
860mm ,水果串堆叠的高度范围0~200mm,选择检测平台到Kinect传感器的距离为550~2
750mm根据三角公式求得传感器在550mm和750mm时分别的视场平面大小为770.2*635.1mm2
和1050.3*866.1mm ,因此选择物距为750mm的平面作为检测平面,构建堆叠串类水果的立体视觉检测系统。
3.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:所述步骤2中,构建深度级别分布均匀的参照物深度数据集,采用图像处理方法对数据集进行变换和扩充,对参照物深度图像进行感兴趣区域提取,得到仅包含参照物深度信息的参照物深度数据集,构建堆叠串类水果的主果梗深度数据集。
4.根据权利要求3所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:构建深度级别分布均匀的参照物深度数据集:考虑到Kinect传感器的视场范围内的平3
均深度精度为2mm,因此将参照物的深度间距设为2mm,制作大小为150*150*2mm 的薄片作为深度参照物,根据水果串堆叠的高度范围和主果梗的深度范围,将检测平面到Kinect传感器的深度相机之间的距离离散为步长20mm的多个深度级别,在深度区间20mm中,每隔2mm深度采集多张深度参照物的图片,每2mm的深度图片中参照物的位置各不相同,因此得到大量深度级别分布均匀的参照物深度图像,之后采用图像处理方法对数据集进行变换和扩充,具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理,最后对参照物深度图像进行感兴趣区域提取,剪切出深度参照物对应的图像区域,得到仅包含参照物深度信息的参照物深度数据集。
5.根据权利要求3所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:构建堆叠串类水果的主果梗深度数据集:在并联机器人水果分拣系统下基于Kinect传感器获取堆叠串类水果不同状态下的深度图像,并采用图像处理方法对数据集进行变换和扩充,之后对堆叠串类水果深度图像中的主果梗区域进行提取剪切,得到以堆叠串类水果主果梗深度信息为主的深度数据集。
6.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:所述步骤4具体如下:采用大数据训练数据集以及所构建的深度级别分布均匀的参照物深度训练数据集和堆叠串类水果的主果梗深度训练数据集对构建的主果梗深度集分级模型进行多迁移学习,实现网络模型的离线训练,同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试,并对精度进行判断,若精度不满足要求,则通过调节参数,再次进行训练,直到精度满足要求为止。
7.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法,其特征在于:所述步骤5具体如下:步骤5.1,堆叠串类水果的RGB‑D图像获取:基于并联机器人水果分拣系统下的Kinect传感器获取堆叠串类水果的RGB‑D图像,提取其中的深度图像用于检测;
步骤5.2,基于图像增强和图像形态学的主果梗深度集提取:基于中值滤波、直方图均衡化图像增强操作对获取的堆叠串类水果主果梗深度图像进行预处理,之后采用形态学操作识别深度图中的主果梗所在区域,并将对应的主果梗深度区域进行剪切提取,实现主果梗深度集的提取;
步骤5.3,基于构建的网络模型的在线主果梗深度集分级:将剪切提取的主果梗深度集图像进行尺度变换后,作为主果梗深度集分级模型的输入,基于训练后满足测试精度要求的网络模型对主果梗深度集图像进行分级,选择分级得分最高的深度级别作为此主果梗的深度级别;
步骤5.4,基于主果梗深度级别的抓取优先级确定:对一张图像上不同主果梗的深度级别进行排序,取距离相机最近的水果串,即堆叠在最上方的水果串作为最先抓取串,实现用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级的准确确定。