1.一种融合频率域和空间域信息的农作物病害图像识别方法,其特征在于,包括以下步骤:
11)农作物病害图像的获取及预处理:获取田间农作物病害图像并进行预处理;
12)双分支病害图像识别模型的构建:基于频率域特征提取网络FCA和具有可变形注意力模块构建的DAT‑Transformer网络构建出双分支病害图像识别模型;
所述双分支病害图像识别模型的构建包括以下步骤:
121)设定双分支病害图像识别模型的第一部分为频率域特征提取网络FCA、第二部分为DAT‑Transformer网络、第三部分为MSAF模块、第四部分为自适应平均池化层、第五部分为全连接层分类器;
其中,频率域特征提取网络FCA用于将高分辨率农作物病害图像压缩为频率特征信息,生成频率信息特征,DAT‑Transformer网络用于全局感知空间域农作物病害图像信息并关注病害区域,捕获有用病害特征信息,生成空间信息特征,MSAF模块用于融合频率信息特征和空间信息特征,然后依次输入步长分别为1和2的两个Ghost bottleneck模块进行抽象特征提取和空间尺寸减半,最后输入到自适应平均池化层得到特征向量并输入到全连接层分类器进行分类和识别;
122)设定频率域特征提取网络FCA,
频率域特征提取网络FCA包括三个部分:Ycbcr颜色变换、离散余弦变换DCT和CNN网络;
Ycbcr颜色变换将RGB图像转化为Y、cb和cr三个颜色分量公式如下:Y=0.299R+0.587G+0.114B
Cb=‑0.1687R‑0.3313G+0.5B
Cr=0.5R‑0.4187G‑0.0813B;
离散余弦变换DCT分别对Y、cb、cr三个颜色分量转化为频率信息,具体的,对于通道按照8×8分块,在每一个块中进行离散余弦变换得到64个频率分量,这样一张Y图像得到H/8×W/8个64频率分量,相当于64个通道,每一个通道大小H/8×W/8,每一个通道代表一类频率的信息,64个通道代表64个频率类别信息;
将三个颜色分量得到的频率信息特征图进行concat得到192×H/8×W/8大小的频率信息特征图作为第三部分CNN的输入;
123)设定Ghost bottleneck模块;
124)设定CNN包括gate模块和Ghost bottleneck模块,gate模块用于有选择地过滤掉冗余频率信息特征,Ghost bottleneck用于学习频率信息特征;
设定CNN包括gate模块和Ghost bottleneck构成的频率特征提取模块,对于以上三个颜色分量concat得到的频率信息特征图,首先通过gate模块过滤掉冗余频率信息特征,具体操作为对输入 进行全局平均池化:其中,Xt代表输入X的第t个通道特征图,H和W分别代表输入特征图X的高和宽,输出Zt为的第t个特征向量值,i是特征向量中第i行坐标值,j特征向量中第j列坐标值;
最后经过并联的两个全连接层处理得到两组特征向量,在经过softmax处理后得到两组概率值 和 具体计算如下:其中,Ai和Bi为可训练的全连接层中第i个权重参数值,zi为向量z的第i个元素,ai为a的第i个输出概率值,bi为b的第i个输出概率值,ai+bi=1,为第一个全连接层计算对应a的第i个权重值, 为第二个全连接层计算对应b的第i个权重值;
最后以b作为基准与a中相对应元素进行比较,若ai>bi,则保留第i个通道的频率信息特征图,反之去除该通道特征图然后经过1×1的卷积压缩冗余特征,将压缩后的特征输入CNN网络进行频率特征提取以及降维;
125)设定DAT‑Transformer网络
DAT‑Transformer网络用于提取农作物病害图像的全局空间信息,包括三个阶段,前两个阶段均为两层的局部注意力加上移位窗口注意力构成,局部注意力关注局部病害特征信息,移位窗口注意力关注每一个窗口全局信息并减少模型参数量;
第三个阶段由两层局部注意力加上可变形注意力构成,可变形注意力用于提高网络模型关注农作物病害特征重要区域,提高模型对密集病害区域的表达能力;
具体的,对于输入 先经过步长为2的3×3卷积下采样,然后通过patch embedding进行4×4大小分块得到96×H/8×W/8大小的特征图,最后依次通过三个阶段的注意力机制处理得到最后的抽象特征,即空间信息特征,用于MASF模块融合的输入;
126)设定MSAF模块,
MASF模块用于融合结构差异的频率域信息特征和空间域信息特征,
0 1 n
将空间特征图 分为n组,即[X ,X ,…X],其中 对每一个i
X通过多普通道注意力转化为频率权重,计算如下:
其中,[ui,vi]是对应于X的2D频率分量坐标索引值,H和W代表频率特征输入X的高和宽,代表压缩后的C′维向量, C表示特征通道数量,i代表n组中的第i组,h是第i组中每一个特征向量的第h行坐标值,w是第i组中每一个特征向量的第w列坐标值;
对n个分组,每一个组具有相同频率权重,n个组表明具有n个不同的频率权重,然后对i这n组得到的Freq值进行concat连接得到整个特征的多频谱值,计算如下:
0 1 n‑1
Freq=cat([Freq ,Freq ,…,Freq ]),其中,cat代表concat连接计算, 代表压缩后的C′维向量,然后将得到的Freq值输入两级1×1卷积进行压缩和非线性处理;
对于频率域特征提取网络FCA提取的频率特征 同样进行两级1×1卷积和非线性处理,最后将这两个分支的输出进行相加得到权重g,在对X和Y进行融合,计算如下:Z=X×g+Y×(1‑g)
其中 代表最终特征融合的输出结果,X和Y分别代表DAT‑T提取的空间信息特征和频率域分支提取的频率信息特征;
127)设定自适应平均池化层和全连接层分类,
自适应平均池化层用于将最后融合和提取的抽象特征转化为特征向量,具体对于大小为1024×7×7的X抽象特征进行计算,计算公式如下:其中,Vt为 的第t个向量值,Xt为输入 的第t个通道特征图;最后使用权重结构为1024×12的全连接层分类器得到12类农作物病害类别,计算如下:其中,yt为 的第t个输出类别,Vi为V的第i个特征向量值,wi为 的第i个权重参数值;
13)双分支病害图像识别模型的训练:将预处理后的田间农作物病害图像输入双分支病害图像识别模型进行训练;
14)待识别农作物病害图像的获取:获取待识别农作物病害图像并进行预处理;
15)农作物病害图像识别结果的获得:将预处理后的待识别农作物病害图像输入双分支病害图像识别模型,得到农作物病害图像的识别结果。
2.根据权利要求1所述的一种融合频率域和空间域信息的农作物病害图像识别方法,其特征在于,所述双分支病害图像识别模型的训练包括以下步骤:
21)将预处理后的田间农作物病害图像输入双分支病害图像识别模型,对双分支病害图像识别模型权重进行初始标准化;
22)农作物训练集图像数据输入到频率域特征提取网络FCA和DAT‑Transformer网络,分别提取出频率信息特征和空间信息特征;然后通过MSAF模块融合这两部分特征并输入到卷积层提取抽象特征;最后将抽象特征输入自适应平均局池化层得到向量并输入到全连接层分类器得到类别概率;
23)利用设计的损失函数cv_bias来优化双分支网络模型训练,提高模型最后一层特征描述符的表达能力,模型训练到损失值不下降时停止训练。
3.根据权利要求1所述的一种融合频率域和空间域信息的农作物病害图像识别方法,其特征在于,所述设定Ghost bottleneck模块包括以下步骤:
31)Ghost bottleneck由两层Ghost module块构成,具体的Ghost module操作为,对于输入特征 取X的一半数量的通道C/2进行3×3深度可分离卷积得到一半的特征记为T1,然后对T1进行1×1的点卷积得到和T1相同维度特征T2,将T1和T2进行concat后得到最终提取的特征;
32)Ghost bottleneck有两种形式,一种采用步长为1用于学习频率信息特征;另一种步长为2用于降维频率信息特征图大小。
4.根据权利要求2所述的一种融合频率域和空间域信息的农作物病害图像识别方法,其特征在于,所述利用设计的损失函数cv_bias来优化双分支网络模型训练包括以下步骤:
41)对于分类模型的最后一层特征输出,即全局平均池化的输入特征,其中B为batchsize,C为输入通道数量,H和W为张量的高度和宽度;
首先,将T转化为二维矩阵 其中N=C×H×W,N表示每个数据点中所有特征值的数量;
然后对batchsize中的第i个数据点特征图进行方差计算,计算公式如下:其中,vi为第i个数据点计算得到的方差结果, 为t的第i个数据,μi为第i个数据点ti所有特征值的平均数,计算公式如下:
42)对原始bias损失对方差值进行了归一化处理,其处理方法为,对同一批次下得到的方差求解最大值Max和最小值Min,然后将方差缩放到vi∈[0,1]之间,公式如下:
43)采用标准差和均值的比值称为变异系数来代替这种归一化的处理,公式如下:其中,εi称为第i个数据的变异系数,εi∈[0,1]之间;
变异系数越大,离散程度越大,表示获得的独特特征的机会就越高,反之离散程度越小,获得的独特特征的机会越低;
44)由于神经网络模型输出层经过softmax处理,为了校准每个数据点对累积损失的贡献,添加一个非线性尺度函数,其目的是在低方差和高方差的数据点之间产生bias,改进后的biasloss公式如下:式中,f(xi;θ)代表神经网络,xi表示输入农作物图像,θ表示模型权重参数;yi为类别标签,B为batchsize值,z为指数映射函数,其目的是校准每个数据点对累积损失的贡献,vi为第i个数据的变异系数值;α和β为可调参数。