利索能及
我要发布
收藏
专利号: 2025101158364
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-24
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多层信息融合的农作物病害图像分类方法,其特征在于,包括以下步骤:

11)农作物病害图像的获取及预处理:获取农作物病害数据图像并进行预处理;

12)构建农作物病害图像分类模型:基于SE‑DenseNet、多层信息特征融合模块和GRU位置信息融合分类器构建农作物病害图像分类模型;

设定农作物病害图像分类模型包括SE‑DenseNet、多层信息特征融合模块和GRU位置信息融合分类器;

设定SE‑DenseNet:

设定SE‑DenseNet包括四层SE‑Dense模块,四层SE‑Dense模块之间均连接了过渡层,过渡层由一个步长为2的3×3卷积组成,用于压缩通道数量和降低特征图大小;

设定SE‑Dense模块包括四层,每一层包括1×1卷积、3×3卷积和SE注意力机制组成,1×1卷积用于压缩通道数量并减少计算量,3×3卷积用于提取病害特征,SE注意力机制用于建立通道与通道之间的联系以提高通道的重用性,层与层之间通过密集连接的方式提高模型对病害特征尺度的表达能力;

设定多层信息特征融合模块包括四个1×1卷积和三个选择性多尺度特征融合机制,对选择性多尺度特征融合机制进行设定;

设定GRU位置信息融合分类器:GRU位置信息融合分类器由一个1×1卷积层、两个GRU循环神经网络和一个全连接层分类器组成;

13)农作物病害图像分类模型的训练:利用预处理后的农作物病害数据图像对农作物病害图像分类模型进行训练;

14)待分类农作物病害图像的获取:获取待分类农作物病害图像并进行预处理;

15)农作物病害图像分类结果的获得:将预处理后的待分类农作物病害图像输入训练后的农作物病害图像分类模型,得到农作物病害图像分类结果。

2.根据权利要求1所述的一种基于多层信息融合的农作物病害图像分类方法,其特征在于,所述构建农作物病害图像分类模型包括以下步骤:

21)设定SE‑DenseNet的输入是224×224×3的图像,通过SE‑DenseNet进行提取多尺度特征信息处理融合,Layer1输出28×28×96维度特征信息,Layer2输出14×14×112维度特征信息,Layer3输出7×7×120维度特征信息,Layer4输出7×7×248维度特征信息;多层信息特征融合模块的输入是SE‑DenseNet的Layer1、Layer2、Layer3和Layer4提取的特征,输出是28×28×96维度特征;GRU位置信息融合分类器的输入是多层信息特征融合模块得到的28×28×96维度特征和SE‑DenseNet最后一层输出7×7×248经过全局平均池化得到1×

248维特征向量,输出是12类作物病害类型;

22)多层信息特征融合模块以SE‑DenseNet的Layer1、Layer2、Layer3和Layer4的输出特征作为输入,首先利用1×1卷积压缩每一层特征通道并过滤无用特征信息以得到通道数量为96的特征信息,然后将Layer3和Layer4压缩后的特征输入第一个选择性多尺度特征融合机制得到大小为7×7×96的融合特征,随后将7×7×96的融合特征和Layer2压缩后特征输入第二个选择性多尺度特征融合机制得到大小为14×14×96的融合特征,最后将14×14×96的融合特征和Layer1压缩后特征输入第三个选择性多尺度特征融合机制得到大小为

28×28×96的最终融合特征;

23)GRU位置信息融合分类器通过1×1卷积层将多层信息特征融合模块获取的特征压缩为单一通道的空间信息;通过Flatten操作将单一通道的空间信息特征拉平,获得一维向量,对于相同病害的目标区域,其一维向量值具有相同的特性,用目标1、目标2、……、目标n表示具有相同病害特性或多个相同病害区域的目标;采用一个GRU循环神经网络对一维信息进行压缩,并记忆相同病害的神经元特性,该GRU循环神经网络的输入隐状态h0被初始化为0,压缩后的隐藏状态h1与SE‑DenseNet网络提取的最后一层特征通道数量相等;将h1和SE‑DenseNet网络得到的一维特征向量分别作为第二个GRU循环神经网络的隐状态和输入值,以获得融合后的输出向量,并将结果输入到全连接层分类器,以得到最终的类别输出。

3.根据权利要求1所述的一种基于多层信息融合的农作物病害图像分类方法,其特征在于,所述农作物病害图像分类模型的训练包括以下步骤:

31)SE‑DenseNet的训练:

将农作物病害图像 输入SE‑DenseNet网络,得到Layer1、Layer2、Layer3、和Layer4的输出;

32)采用如下公式计算损失值Lf并优化网络参数,

其中,f代表识别网络SE‑DenseNet,yi表示第i个数据的真实标签,xi′表示x′中的第i个输入数据,Lf表示SE‑DenseNet模型计算的损失值,B表示每批次输入的农作物病害图像数量;

33)多层信息特征融合模块的训练:多层信息特征融合模块对SE‑DenseNet每一层的多尺度特征信息进行信息处理融合;将Layer4提取的7×7×248维度特征信息与Layer3提取的7×7×120维度特征信息通过1×1大小的卷积核进行特征选择和匹配,使它们的特征通道数量维度相同,并将压缩后的特征信息输入选择性多尺度特征融合机制进行信息融合;

将融合的特征信息依次与Layer2和Layer1输出的特征信息融合,从而得到最终输出的28×

28×96维度特征信息;

将SE‑DenseNet网络的四层输出特征通过多层信息特征融合模块得到融合特征,然后将融合特征和Layer4的结果输入GRU位置信息融合分类器得到类别输出,最后通过交叉熵损失函数微调多层信息特征融合模块和GRU位置信息融合分类器的权重参数,微调过程采用计算公式如下:其中,π表示整体模型,yi表示第i个数据的真实标签,xi表示x中的第i个输入数据,Lπ表示整体模型计算的损失值,B表示每批次输入的农作物病害图像数量;

34)GRU位置信息融合分类器的训练:

将融合特征通过1×1大小的卷积核压缩为28×28×1维度信息,用于突出每张图像中多目标病害的位置信息;将融合特征通过Flatten操作得到1×784的一维向量,并与SE‑DenseNet最后一层特征经过全局平均池化GAP得到的1×248维向量一起输入到两个GRU循环神经网络和全连接层分类器中,以得到作物病害类别的输出;第一个GRU用于记忆和压缩融合模块提取的位置信息,第二个GRU用于融合位置信息和SE‑DenseNet提取的特征信息;

最后将第二个GRU得到的向量输入全连接层分类器得到类别输出。

4.根据权利要求3所述的一种基于多层信息融合的农作物病害图像分类方法,其特征在于,所述SE‑DenseNet的训练包括以下步骤:

41)对于224×224×3大小的农作物病害图像,通过卷积核大小为7×7和3×3的最大池化操作,得到了56×56×24大小的特征图;

42)输入第一层SE‑Dense模块和过渡层Layer1,得到28×28×96大小的特征;

43)输入第二层SE‑Dense模块和过渡层Layer2,得到14×14×112大小的特征;

44)输入第三层SE‑Dense模块和过渡层Layer3,得到7×7×120大小的特征;

45)输入第四层SE‑Dense模块Layer4,得到7×7×248大小的特征,并通过全局平均池化层,得到1×248维特征向量。

5.根据权利要求2所述的一种基于多层信息融合的农作物病害图像分类方法,其特征在于,所述对选择性多尺度特征融合机制进行设定包括以下步骤:

51)将深层特征作为注意力机制的权重,筛选出浅层特征中对作物病害识别相关的位置信息特征;

采用具有跨空间学习能力的EMA注意力机制,对于深层特征 和浅层特征 由于深层特征的尺度大小比浅层特征小,首先经过双线性插值将fhigh转化为和flow具有相同维度的输出特征图 计算公式如下:fhigh_out(x,y)=(1‑dx)(1‑dy)fhigh(x1,y1)+dx(1‑dy)fhigh(x2,y1)+(1‑dx)dyfhigh(x1,y2)+dxdyfhigh(x2,y2),其中,(x1,y1)、(x2,y2)、(x1,y2)和(x2,y1)代表与新像素坐标最近的四个像素的坐标,dx和dy代表新像素坐标与最近像素坐标的差值,fhigh为原始图像像素,fhigh_out插值后的图像像素;

52)将 作为EMA注意力机制的输入,使用groups操作重塑部分通道到批次维度,并将通道维度分组为C//r个子特征,记为随后使用尺寸为(H,1)和(1,W)的平均池化核沿着水平坐标方向和竖直坐标方向对分组后每个子特征进行计算,高度为H的第c个通道的输出公式为:其中,xc为f′high_out的第c个输入特征图,W为特征图的宽度, 为第c个特征图在特征图高方向的输出结果;同样,宽度为W的第c个通道的输出公式为:其中,xc为f′high_out的第c个输入特征图,H为特征图的高度, 为第c个特征图在特征图宽方向的输出结果;

H W

53)通过Concat将z和z两个方向特征连接起来,并使用具有共享权重的1×1大小卷积核进行变换,公式如下:H W

ρ=σ(P1([z ,z])),

其中,P1代表1×1点卷积, 代表空间信息在水平方向和竖直方向编码的中间特征图,r表示压缩比例因子,σ代表ReLU非线性激活函数;

54) 沿 着 空间 维度 将 ρ切 分为 两 个单 独的 张量 和再利用sigmoid函数得到水平方向和竖直方向的权重值,公式如下:其中δ代表sigmoid激活函数,输出 和 为H方向

和W方向的注意力权重;

55)将对应位置的特征图和两个方向的注意力权重相乘得到1×1分支注意力特征图,计算公式如下:其中(i,j)为第i行,第j列坐标,xt代表第t个通道输入特征图, 代表H方向第t个通道对应权重, 代表W方向第t个通道对应权重,yt代表第t个通道输出特征图,C//r个通道加权后的子特征图为

56)输入的f′high_out将通过3×3的卷积操作得到 用于扩大特征空间信息感受野,

其中P3代表3×3卷积, 代表具有更高感受的特征图,记为3×3分支,这里的r表示压缩比例因子,σ代表ReLU非线性激活函数;

57)对1×1分支注意力特征图y和3×3分支特征图G进行Gross‑spatial learning方式来进行特征聚合,计算公式如下:T=G·θ(GAP(GN(y)))+GN(y)·θ(GAP(G)),其中θ代表softmax激活函数,GN代表GroupNorm,GAP代表全局平均池化,代表特征聚合后的输出信息,y为1×1分支注意力特征图,G为3×3分支特征图;

58)将聚合后的特征T经过sigmoid函数后得到空间注意权重值并与flow和特征图fhigh_out进行融合,计算公式如下:fout=flow×δ(T)+fhigh_out,

其中δ代表sigmoid激活函数, 代表融合后的特征图,flow代表浅层特征,fhigh_out代表深层特征经过双线性插值后的值。