1.一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:该方法以Faster RCNN作为基础网络,通过将果实特征融入到Faster RCNN的输入层、RPN以及位置回归分支,从而实现苹果识别框架的定制,包含以下步骤:步骤1:以Faster RCNN目标检测框架作为基础网络框架,并在Faster RCNN的输入层、RPN和位置回归分支中融入果实特征;
步骤2:将苹果的颜色、形状、纹理、边缘、光谱和立体的特征采用图形化的方式进行表达,并与果实图像整合成多通道图像作为目标检测框架的输入;
步骤3:根据果实颜色特征确定果实可能存在的区域,并将RPN中预选框的生成位置限定在该区域;
步骤4:将RPN中预选框的形状设置为圆形,使其与苹果形状相适应,从而有效屏蔽部分背景干扰纯化果实特征;
步骤5:根据苹果果实在图像中的大小分布,设置预选框的尺寸,使其与果实大小相契合;
步骤6:采用可进行椭圆形状预测和位置回归的分支结构替代Faster RCNN框架中进行矩形框位置回归的分支。
2.根据权利要求1所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤2所述的果实特征的图形化表达,其中颜色特征采用色差图或聚类图表达,形状特征采用梯度图表达,纹理特征采用编码图表达,边缘特征采用边线图表达,光谱特征采用多层光谱反射图表达,立体形状特征采用点云图或强度图表达。
3.根据权利要求2所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤2所述的与果实图像整合成多通道图像作为目标检测框架的输入,具体的整合方式如下:将果实的图形化特征叠加到果实图像的第三维度上形成含有多个通道的图像,并根据图像通道数量修改Faster RCNN输入层通道数量。
4.根据权利要求1所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤3所述的根据果实颜色特征确定果实可能存在的区域,具体的操作步骤如下:
首先,采用R‑G算子生成苹果图像的色差图Gray,具体的R‑G算子如下所示:然后采用最大类间方差法计算所得最佳阈值的1/10进行图像分割,并对连通区域进行膨胀扩充得到苹果可能存在的区域;最大类间方差法通过寻找最佳阈值Thr将图像中的像素分为2类,具体公式如下所示:
其中 和 分别为2类像素值的类间方差和类内方差;μ1和μ2分别为2类像素值的均值;p1和p2分别为2类像素数量占像素总数量的比例; 和 分别为2类像素值的方差。
5.根据权利要求1所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤4所述的将RPN中预选框的形状设置为圆形,具体的操作步骤如下:首先将RPN中预选框的形状设置为正方形并用于参与运算,具体的运算方式如下:以果实可能存在区域的每个像素为中心生成3个不同尺寸的正方形预选框,然后根据输入图像与特征图的尺寸比例映射到特征图上;
再提取预选框内特征时采用掩膜图形将预选框形状修改为圆形,使其与苹果形状相适应。
6.根据权利要求1所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤5所述的设置预选框尺寸,首先大规模标注图像中果实的尺寸,然后采用聚类算法分析并绘制样本果实的尺寸分布图,最后在图中选择合适的值作为预选框尺寸;具体的聚类算法如下:首先在尺寸分布范围[x1,x2]内平均选取3个种子点,种子点的数值分别为x1+h,x1+3h,x1+5h,其中h=(x2‑x1)/6;然后采用k‑means聚类算法以种子点为中心进行聚类确定合适的预选框尺寸。
7.根据权利要求1所述的一种融合果实特征与深度卷积神经网络的苹果识别方法,其特征在于:步骤6所述椭圆回归分支,首先以全卷积网络为基础实现局部区域的像素级分割,然后通过插入的参数回归模块对椭圆形的中心坐标,长短轴半径、倾斜角和偏移量进行预测。