1.一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,具体包括如下步骤:
步骤1,获取用于食叶害虫识别的图像数据集,利用Retinex图像增强算法对获取的图像数据集进行预处理,并根据一定比例将处理后的图像数据集分成训练集、验证集和测试集;
步骤2,构建分层深度学习模型,用于对图像进行食叶害虫识别;所述分层深度学习模型包括两层,第一层具体为在已有的YOLO网络的特征提取模块头部嵌入残差可变形卷积模块;第二层具体为在已有的Faster R‑CNN网络中加入全局激活区域生成网络以及局部激活区域生成网络;
步骤3,利用训练集对分层深度学习模型进行训练,利用验证集对分层深度学习模块进行验证,得到训练好的分层深度学习模型;
步骤4,将测试集输入训练好的分层深度学习模型中,得到食叶害虫识别结果。
2.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,步骤1中所述利用Retinex图像增强算法对获取的图像数据集进行预处理,过程如下:
式中,r(x,y)表示输出图像,R(x,y)表示反射图像,S(x,y)表示输入图像,L(x,y)表示亮度图像,F(x,y)表示高斯中心环绕函数,λ为归一化系数,q为高斯环绕尺度,x表示图像像素点横坐标,y表示图像像素点纵坐标。
3.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,步骤2中所述残差可变形卷积模块是由3个3×3的可变形卷积模块加1个连接层组成;每个所述可变形卷积模块均是由1个可变形卷积、1个BN层和1个leaky激活层组成。
4.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,步骤2中所述残差可变形卷积模块的具体实现过程如下:在输入特征图上使用规则网格R进行采样,并对规则网格R增加偏移量进行扩张,同时对每一个采样点预测一个权值Δmn,则对于输出特征图上不同采样点的输出值表示如下:其中,y′表示输出值;R表示规则网格;pn表示规则网格R中所列位置的枚举;Δpn表示偏移量,n=1,...,N;N表示采样点的总数目;w表示卷积核;x′表示利用双线性插值法得出的值;p0表示输出的特征图上的某个位置;Δmn表示对第n个采样点预测的权值。
5.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,步骤2中所述全局激活区域生成网络包括通道注意力模块和空间注意力模块,用于对图像全局特征的激活权重进行学习,输出全局特征图;具体如下:式中, 表示全局激活区域生成网络输出的全局特征图; 表示利用通道注意力模块输出的全局特征图; 表示利用空间注意力模块输出的全局特征图。
6.根据权利要求5所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,所述利用通道注意力模块输出的全局特征图,具体如下:对于输入的全局特征图Xg在通道注意力模块的分支张量为Xc,令Xc=Xg;
首先,采用全局池化操作Fgp消除全局特征图在高Hg和宽Wg上的影响,具体为对Xc中的通道大小为Hg×Wg的特征图xc上进行全局池化操作,将每张特征图xc的全局池化输出zc进行连接构成1×1×Cg的一维向量Zc;其中,Cg表示卷积核深度;
所述全局池化操作Fgp表示如下:式中,i表示特征图横坐标,i∈Hg;j表示特征图纵坐标,j∈Wg;xc(i,j)表示特征图上的像素点;
接着,用两层全连接神经网络对Zc进一步特征提取和学习:其中,Uc表示输出激活向量;W11和W12分别为两个全连接层的学习参数,b11和b12为偏量;
σ11和σ12分别为第一个全连接层的激活函数RELU和第二个全连接层的激活函数Sigmoid;
然后,将输入全局特征图xc和输出激活向量uc在通道层面加权完成重校准,具体如下:*
xc=xc×uc
*
式中,xc表示输出特征激活图;xc表示具体输入全局特征图;uc表示具体输出激活向量;
*
最后,将各个通道得到的xc进行叠加,得到全局特征图输出 所述全局特征图输出的大小为Hg×Wg×Cg。
7.根据权利要求5所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,所述利用空间注意力模块输出的全局特征图,具体如下:首先,使用全局卷积操作Fgc消除各通道信息的影响,具体如下:其中,zs(i,j)表示不同输出的特征图的像素点;i表示特征图横坐标,i∈Hg,Hg表示特征图的高;j表示特征图纵坐标,j∈Wg,Wg表示特征图的宽;Fgc(xg)表示全局卷积操作;Cg表示卷积核深度;m表示卷积核的长度;v表示卷积核的宽度;Xg(i+m,j+v,c)表示输入的全局特征图;K11为全局卷积操作的卷积核,卷积核大小为m×v×Cg;b表示卷积核偏置量;
然后,分别采用第一组膨胀卷积和第二组膨胀卷积先后对激活矩阵进行学习,其中第一组膨胀卷积的卷积层激活函数为ReLu函数,卷积核为K1,卷积核的偏置量为b21;第二组膨胀卷积的卷积层激活函数为Sigmoid函数,卷积核为K2,卷积核的偏置量为b22;所述激活矩阵的学习具体如下:
US=σ22(K2*σ21(K1*ZS+b21)+b22)式中,US表示激活矩阵,大小为Hg×Wg×1;σ22表示Sigmoid激活函数;σ21表示ReLU激活函数;ZS表示输出特征图;
接着,在每个通道上使用指数运算融合激活矩阵us和输入的全局特征图xg,具体如下:式中, 表示空间全局激活特征图;xg表示输入的全局特征图;us(i,j)表示激活矩阵us第i行第j列的元素;
最后,将各个通道激活后的特征图 进行堆叠,得到全局特征图在空间层面的空间激活特征图
8.根据权利要求1所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,步骤2中所述局部激活区域生成网络包括上下文特征强化模块和自注意力激活模块;所述上下文特征强化模块,用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图;所述自注意力激活模块,用于根据上下文强化局部特征图对局部位置进行强化。
9.根据权利要求8所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,所述上下文特征强化模块,用于对全局激活区域生成网络输出的全局特征图处理得到上下文强化局部特征图,具体过程如下:首先将标准区域生成网络应用在全局激活区域生成网络输出的每一个全局特征图上,为预设的锚点匹配对应监督值;同时标准区域生成网络用滑窗在全局特征图上搜索与锚点交并比高的存在,在上下文特征强化模块中对生成的候选框B分别在左上、左下、右上、右下位置分别扩大1.5倍,具体如下:Btl=(max(0,x1‑0.5f),max(0,y1‑0.5h),1.5f,1.5h)Bbl=(max(0,x1‑0.5f),y1,1.5f,1.5h)Btr=(x1,max(0,y1‑0.5h),1.5f,1.5h)Bbr=(x1,y1,1.5f,1.5h)式中,Btl表示位于左上角的候选框;x1表示候选框B的点的横坐标;f表示候选框B的宽度;h表示候选框B的高度;y1表示候选框B的点的纵坐标;Bbl表示位于右上角的候选框;Btr表示位于左下角的候选框;Bbr表示位于右下角的候选框;
然后分别对扩大1.5倍后的左上、左下、右上、右下的候选框进行RoI Align提取局部特征,并与各自对应的原候选框B局部特征相连,通过1×1卷积融合消除混叠,从而得到上下文强化局部特征图XL。
10.根据权利要求9所述的一种基于分层深度学习模型的智慧园林食叶害虫识别方法,其特征在于,所述自注意力激活模块,用于根据上下文强化局部特征图对局部位置进行强化,具体过程如下:
首先,对上下文强化的局部特征图XL进行三个并行1×1卷积,输出大小一致的局部特征图f(XL)、g(XL)和h(XL);其中,f(XL)=Kf*XL
g(XL)=Kg*XL
h(XL)=Kh*XL
其中Kf、Kg和Kh分别表示三分支的卷积核,大小均为1×1×Cg;
然后,将特征图f(XL)在空间上转置后与g(XL)逐像素相乘,输出特征图s如下:T
s=f(XL) g(XL)
接着,将特征图s进行1×1卷积降维,得到大小为k×k的二维局部激活矩阵;
最后,利用Softmax激活函数学习待局部强化的每个像素点的权重值作为激活矩阵的项,得到激活矩阵Ua,将激活矩阵Ua与h(XL)融合以强化局部位置;其中激活矩阵Ua的元素具体如下:
其中,Ua(i′,j′)表示激活矩阵Ua第i′行第j′列的元素;s(i′,j′)表示输出特征图s中每个点的权重值;i′表示像素点的横坐标;j′表示像素点的纵坐标;k表示二维局部激活矩阵的宽或高。