利索能及
我要发布
收藏
专利号: 2018115898646
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于,包括如下步骤:

步骤1,对堆叠串类水果主果梗识别和提取的数据集构建和扩充;

步骤2,对堆叠串类水果主果梗提取小对象特征的卷积神经网络的构建,包括图像输入、特征提取和分类三部分;

所述步骤2具体如下:

步骤2.1,图像输入部分:

基于数据集中标签框的真实值大小设计图像输入层的神经元数量,首先根据获取的堆叠串类水果数据集,统计标签框的真实值大小,根据式(1)~(2)求取数据集中标签框的真实值宽度均值Wa和高度均值Ha,其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和高度,n为参与统计的主果梗标签框的数量;

为减少图像失真和保留更多的原始图像信息,基于宽度均值Wa和高度均值Ha设计图像输入层的神经元数量,同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理;

步骤2.2,特征提取部分:

主要包括了卷积结构和全连接结构;

卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、ReLu激活函数,通过三次无图像尺度变化的卷积和具有较小图像尺度变化的池化,获取原始图像上表针主果梗信息的特征图,降低原始特征信息的丢失;

对于卷积层,基于式(3)计算卷积层初始参数,使得卷积层的输入和输出特征图尺度一致,其中osc为卷积层输出特征图的长或宽,isc为卷积层输入特征图的长或宽,fs为卷积层滤波器的大小,pc为填充大小,sc为步长,对图像进行边缘填充,降低卷积过程中边缘信息的丢失;

对于池化层,包括了最大池化层和平均池化层,均基于式(4)计算池化层初始参数,使得池化层的输出特征图以2倍下采样输入特征图,其中osp为池化层输出特征图的长或宽,isp为池化层输入特征图的长或宽,ps为池化大小,pp为填充大小,sp为步长;

对于ReLu激活函数,基于式(5)对输入的每个元素执行阈值操作,所有小于0的值均设置为0,用以减少数据冗余,保留重要特征;

对于全连接结构,主要包括了ReLu激活函数、全连接层和丢弃层,为防止过拟合,将网络中加入了丢弃层,在训练时随机设置某些元素权值为0,通过增加全连接层的数量,用以提高网络对提取的特征图的学习能力;

步骤2.3,分类部分:主要包括了Softmax层和分类输出层;

步骤3,构建堆叠串类水果主果梗数据集的CNN架构和设计的由粗到精和参数分享策略改进现有Faster R‑CNN模型;

步骤4,对堆叠串类水果主果梗数据集多迁移学习策略的网络训练和基于可视化分析的网络精度测试;

步骤5,在已训练网络模型的基础上对堆叠串类水果主果梗识别和提取。

2.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:所述步骤1中,采用用于学习图像的边缘、轮廓、纹理以及角点的一般特征的具有多种对象的大数据集,并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。

3.根据权利要求2所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:具体包括了堆叠串类水果数据集和堆叠串类水果主果梗数据集,同时,采用图像处理方法对数据集进行变换和扩充,具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理,并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集,以增加数据集分布范围,并进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。

4.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:所述步骤3具体如下:所改进的由粗到精级联Faster R‑CNN模型包括两级深度神经网络,第一级深度神经网络用于提取图像中堆叠串类水果区域;第二级深度神经网络用于提取堆叠串类水果区域中的主果梗区域,两级深度神经网络共享CNN架构和参数;

每级中的深度神经网络均采用Faster R‑CNN架构,首先采用所构建的能够提取小对象特征的CNN架构中的卷积结构提取输入图像的特征图,之后采用所构建的CNN架构构建候选区域生成网络,基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作为对象可能存在的区域,最后基于分类网络对候选区域进行筛选,获取对象所在的区域,并通过图像投影计算,获取对象区域所对应的原始图像中的位置,实现对象的识别和提取。

5.根据权利要求4所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:所述的由粗到精级联Faster R‑CNN模型中,每级中的深度神经网络将候选区域生成、特征提取、分类和位置精修四部分均统一到一个深度网络框架之内,每级的深度神经网络中均采用了非极大值抑制,对获取到的候选区域和最终网络得到的候选区域各自采用不同的IoU阈值进行筛选,去掉重合度较高的区域。

6.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:所述步骤4具体如下:步骤4.1,基于多迁移学习策略的网络训练:采用多迁移学习的方法,结合多数据集对构建的网络模型进行训练;首先基于大数据集对构建的CNN架构进行预训练,学习图像的边缘、纹理、方向的一般特征,将预训练之后的CNN架构用于改进的级联Faster R‑CNN模型,之后采用构建的堆叠串类水果训练集对级联Faster R‑CNN模型的第一级进行再训练,学习堆叠串类水果的区域特征,之后将再训练的级联Faster R‑CNN模型的第一级中的CNN架构和参数用于级联Faster R‑CNN模型的第二级,作为级联Faster R‑CNN模型第二级的初始训练参数,之后采用构建的堆叠串类水果主果梗训练集对级联Faster R‑CNN模型的第二级进行微调,学习堆叠串类水果的主果梗区域特征;

步骤4.2,基于可视化分析的网络精度测试:采用可视化分析,对训练后的网络学习能力进行评估;首先通过提取预训练后CNN架构的卷积层权值参数,分析预训练的CNN架构对图像的边缘、纹理、方向的一般特征的学习能力,之后对级联Faster R‑CNN模型的两级中的深度神经网络进行评估,分别提取其不同卷积层和全连接层的输出特征图进行分析,评估其学习能力,最后采用堆叠串类水果测试集统计计算级联Faster R‑CNN模型的检测精度,并对精度进行判断,若精度不满足要求,则通过调节参数,再次进行训练,直到精度满足要求为止。

7.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法,其特征在于:所述步骤5具体如下:将满足测试精度要求的已训练的由粗到精级联Faster R‑CNN模型用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取。