1.一种生菜多光谱图像前景分割方法,其特征在于,包括以下步骤:
11)生菜多光谱图像的获取和预处理:将图像采集高度设定为1.5m、图像采集装置移动速度设置为0.05m/s,利用多光谱相机拍摄生菜多光谱图像,剔除高重叠度图像后将图像尺寸从2064x1544像素缩放为512×512像素,形成原始图像数据集;
12)生菜多光谱图像的边缘提取:利用边缘提取算法对生菜多光谱图像进行边缘提取操作;
13)生菜多光谱图像的配准:利用相位相关算法对生菜多光谱图像进行配准处理;
14)图像分割模型的建立:利用U‑net网络构建图像分割模型;
15)图像分割模型的训练:利用配准处理后的生菜多光谱图像对图像分割模型进行训练;
16)待分割图像的获取和处理:获取待配准图像并进行预处理,再进行边缘提取和配准处理;
17)待分割图像结果的获得:将配准处理后的待分割图像输入训练后的图像分割模型,对生菜多光谱图像进行前景分割。
2.根据权利要求1所述的一种生菜多光谱图像前景分割方法,其特征在于,所述生菜多光谱图像的边缘提取包括以下步骤:
21)使用5x5的高斯滤波器来平滑和去除噪声,其公式如下:其中,σ为方差,k确定核矩阵的维数,i为x轴方向随机参数,j为y轴方向随机参数;
22)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数即图像梯度Gx和Gy,根据得到的这两幅梯度图Gx和Gy找到边界的梯度和方向,其公式如下:其中,G为每一个点的梯度值,θ为每一个点的梯度方向;
23)使用非极大值抑制,即寻找像素点的局部最大值,将非极大值所对应的像素点的灰度值设置为0,来消除边缘检测带来的杂散响应;
24)滞后阈值:通过设定两个阈值minVal和maxVal来确定真正的边界,对于低于minVal阈值的像素点直接抛弃,高于maxVal阈值的像素点为真正的边界;处于阈值之间的像素点如果与真正的边界点相连便认为它也是边界点,否则就抛弃;根据选取的阈值,自动对图像进行边缘检测。
3.根据权利要求1所述的一种生菜多光谱图像前景分割方法,其特征在于,所述生菜多光谱图像的配准包括以下步骤:
31)在得到多光谱边缘检测图像后,通过傅里叶变换将其变换到频域中,再求得两张图片的互功率谱,在得到的互功率谱中出现一个异常的波峰,定位到波峰的坐标即求得两张图像的水平平移参数;
32)假设f1(x,y)和f2(x,y)为两个图像的时域信号,满足以下关系式,即是f2(x,y)由f1(x,y)经过简单的平移得到:
f2(x,y)=f1(x‑x0,y‑y0),根据傅里叶变换的性质得
其中,F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换;
它们的互功率谱为
* *
式中:F1(u,v)为F1(u,v)的复共轭,F2(u,v)为F2(u,v)的复共轭; 的傅里叶反变换为一个二维脉冲函数δ(x‑x0,y‑y0),相位相关法就是求取上式的傅里叶反变换,然后找到最高峰的位置,最高位置的坐标即是平移参数x0和y0;
根据求得的平移参数对多光谱图像进行平移,将五张多光谱图像配准到同一位置。
4.根据权利要求1所述的一种生菜多光谱图像前景分割方法,其特征在于,所述图像分割模型的建立包括以下步骤:
41)使用VGG16作为主干特征提取网络,并使用Imagenet上的预训练权重进行迁移学习,来提高模型的泛化性;
VGG16总共有16层,13个卷积层和3个全连接层,第一次经过64个卷积核的两次卷积后,采用一次pooling,第二次经过两次128个卷积核卷积后,再采用pooling,再重复两次三个
512个卷积核卷积后,再pooling,最后经过三次全连接层输出特征图;
42)分割网络U‑Net结构主要由主干特征提取网络VGG16和加强特征提取网络构成,其形状可以看作为一个U型,利用VGG16主干特征提取网络获得五个初步的特征层,在加强特征提取网络里,利用这五个初步有效特征层进行特征融合,特征融合的方式就是对特征层进行上采样并且进行堆叠;
为了方便网络的构建和更好的通透性,在加强特征提取网络里,在进行上采样时直接进行两倍上采样再进行特征融合,最终获得的特征层和输入图片的长宽高相同;
43)为了量化本文语义分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能,引入平均像素准确率Accuracy、平均交并比MIoU、召回率Rell、精确率Precesions和平衡F分数F1‑Score进行评价,其表达式如下:在此假设共有k+1个分类,TP表示预测是正确的正样本,FP表示预测是错误的正本,TN表示预测是正确的负样本,FP表示预测是错误的负样本。
5.根据权利要求1所述的一种生菜多光谱图像前景分割方法,其特征在于,所述图像分割模型的训练包括以下步骤:
51)将配准后的多光谱图像作为数据集,使用labelimg对其进行标注,使用旋转、镜像、缩放,添加高斯噪声方式进行标记样本数量扩充,将得到的图像数据集送入U‑Net模型进行训练;
52)采用非线性函数ReLU来作为模型隐藏层的激活函数,其将所有负值都变为0,不改变正值,使得神经网络具有稀疏激活性;
53)使用的损失函数由Cross Entropy Loss和Dice Loss组成,模型最终输出一个二分类图像,使用Softmax对像素点进行分类的时候使用CrossEntropy Loss作为Loss损失函数,交叉熵用来表达神经网络输入输出的结果差异,交叉熵越小,输入和输出的结果就越接近,
分类的交叉熵损失函数为:
Dice loss将语义分割的评价指标作为Loss,Dice系数是一种集合相似度度量函数,用于计算两个样本的相似度,取值范围在[0,1],越大表示预测结果和真实结果重合度越大,所以Dice系数是越大越好,而如果是作为Loss的话是越小越好,所以使得Dice loss=1‑Dice,将Loss作为语义分割的损失了,计算公式如下:其中,X、Y分别表示预测值的像素点集和真实值像素点集。