1.一种自适应软标签生成方法,其特征在于:包括以下步骤:
1)下载Indian Pines(IP)、University of Pavia(UP)、Kennedy Space Center(KSC)这三个数据集;
2)用loadmat函数分别加载高光谱图像和地面标签数据,加载后的高光谱图像和地面标签数据分别用自定义变量img、gt进行存储;
3)将地面标签数据文件(gt)分别提取出标记样本和未标记样本;然后对地面标签数据文件(gt)划分训练集(train_gt)和测试集(test_gt),训练集(train_gt)和测试集(test_gt)的划分方式为:从地面标签数据文件(gt)中随机选取5个训练样本HSI H作为训练集,其余样本作为测试集;
4)利用未标记样本生成自适应软标签;
其中,步骤4)中,所述利用未标记样本生成自适应软标签的具体步骤为:
4.1)将随机选取的5个训练样本HSI H作为标记样本,将测试集中样本作为未标记样本,且标记样本和未标记样本分别定义为L和U,然后,计算标记样本L和未标记样本U之间的空间距离SPAD,计算公式如式(1)所示:式(1)中,(xi,yi),(xj,yj)分别是标记样本L和未标记样本U在高光谱图像HSI上二维空间坐标值;
4.2)定义标记样本L和未标记样本U之间的光谱距离为SPED,计算公式如式(2)所示:SPED=entropy(l,u)+entropy(u,l) (2)式(2)中,entropy是用来求两个光谱的熵,l和u分别为标记和未标记光谱向量;
4.3)结合空间距离SPAD和光谱距离SPED,定义标记样本L和未标记样本U之间空间光谱的总距离为LUD,LUD计算公式如式(3)所示:
4.4)加入自适应对比判断,选择最优数据生成自适应软标签。
2.根据权利要求1所述的自适应软标签生成方法,其特征在于:所述步骤4.4)中,加入自适应对比判断,选择最优数据生成自适应软标签的具体步骤如下:
4.4.1)利用定义标记样本L和未标记样本U之间空间光谱的总距离LUD求出属于同一类别的最小距离,计算公式如式(4)所示:LUD=[d1,d2,...ds]
MIND=min(LUD) (4)
式(4)中,s表示选择的标记样本数量,min函数取出当前类别LUD中的最小值;
4.4.2)将步骤4.4.1)中得到所有类别最小值后的MIND,利用式(5)进行表示:MIND=[d1',d2',...dc']
式(5)中,c为HSI类别数目;
4.4.3)对于步骤4.4.2)中得到的MIND,使用如式(6)所示的smin函数取其次小值SMIND,同时,利用式(7)加入类别判断:SMIND=smin(MIND) (6)
式(7)中,设定阈值α和β;式(7)利用最小距离值小于最优参数α以及最小值和次小值的比率小于最优参数β这两个次判断条件,将混淆数据进行清除;
4.4.4)利用标记样本和未标记样本之间空间光谱的总距离LUD对未标记样本和类别之间的距离定义为UCD,UCD的计算公式如式(8)所示;而后将生成的UCD值送入softmax函数,生成未标记样本U属于每个类的概率P,生成的P向量即构成了自适应软标签(pseudo_labels3);
P=softmax(UCD) (9)
式(8)中,n是LUD中数据从小到大排序后的索引值。
3.一种如权利要求1所述的自适应软标签在高光谱图像分类中的应用,其特征在于:包括以下步骤:a)获取训练数据和标签信息:对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作;
b)全连接神经网络结构模型的创建:通过在光谱和空间域的几何变换扩展HSI数据,更好地提取利用HSI中的特征信息,利用连续dropout策略和Relu激活对全连接神经网络进行训练,而后利用spectral包的save_rgb函数对全连接神经网络进行测试,得到全连接神经网络结构模型;
c)将自适应软标签加入到网络训练中,提取自监督知识;
d)训练测试。
4.根据利要求3所述的自适应软标签在高光谱图像分类中的应用,其特征在于:步骤a)中,对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作的具体步骤如下:对高光谱图像img这个三维立方体进行旋转和翻转操作,旋转和翻转操作具体按照如下方式进行:先将高光谱图像img这个三维立方体旋转4个角度(分别为
0°,90°,180°,270°),然后再分别镜像翻转,而后进行光谱域翻转,如图3所示,就得到了最后要的8个训练样本的训练数据和标签信息;而后,对训练集(train_gt)以及软标签进行与高光谱同样的变换操作。
5.根据利要求3所述的自适应软标签在高光谱图像分类中的应用,其特征在于:步骤b)创建全连接神经网络结构模型的具体步骤包括:b‑1)通过在光谱和空间域的几何变换扩展HSI数据,获取网络训练数据T;
b‑2)网络训练:为了更好的训练HSI数据,本发明使用全连接神经网络模型,该全连接网络模型的特点是每次层的输出都要作为下一层的输入,通过递进的图像特征累加,卷积层可以有效地学习多尺度特征信息。
6.根据利要求5所述的自适应软标签在高光谱图像分类中的应用,其特征在于:步骤b‑
1)中,获取网络训练数据T的具体步骤为:在空间域,对HSI图像(即训练样本HSIH的图像数据)水平旋转4个角度(0°,90°,180°,270°)之后生成的4个图像分别进行镜像翻转操作,从而得到8个变换之后的图像数据;在光谱域,对于HSI图像进行光谱域反转操作,指定任务为预测光谱序列顺序,通过此任务学习图像光谱域相关信息;通过空间和光谱变换操作,最后得到训练数据T。
7.根据利要求5所述的自适应软标签在高光谱图像分类中的应用,其特征在于:所述步骤b‑2)中,网络训练具体过程如下:b‑2‑1),通过如下方式使输出矩阵可以和输入矩阵连接;具体来说就是:先从训练集中选出训练样本HSIH=(w,h,d);然后,对输入矩阵进行padding操作;然后使用D个[3*3,d]fileters对训练样本HSI H进行卷积操作,生成特征向量F=(w,h,d),将F和H联合作为下一层的输入,该上述步骤公式描述如式(10)所示:式(10)中,Fn代表第n层的输出,Conv代指每层的卷积操作;通过此结构网络可以有效提取HSI多尺度特征;
b‑2‑2),在网络的每一层卷积操作之后加入Relu激活函数来提高网络的学习能力;
b‑2‑3),在每层网络中还要添加dropout策略,目的是为了防止过拟合和提高网络的鲁棒性;每一层网络的卷积操作之后都要加入Relu激活函数以及添加dropout策略如此才完成每一层的卷积层操作;
b‑2‑4),多层信息融合。
8.根据利要求7所述的自适应软标签在高光谱图像分类中的应用,其特征在于:所述步骤b‑2‑4)中,所述多层信息融合具体步骤如下:首先对每个卷积层引入全连接层FC,然后使用softmax函数生成类别预测结果b,然后,对步骤a)中经过变换操作得到的8个训练样本的输出类别预测结果b取平均值a;然后,对所有层采用该上述相同策略得到所有n层的输出结果为 然后,对每一层的类别预测结果平均值a进行融合平均,然后,利用argmax函数生成有最大logit值的像素级分类标记;其中,融合平均按照式(11)所示公式进行:式(11)中,是网络的最终预测输出,n是网络层数。
9.根据利要求3所述的自适应软标签在高光谱图像分类中的应用,其特征在于:所述步骤c)中提取自监督知识的具体步骤为:通过引入与教师网络相关的软目标(soft‑target)作为总体损失的一部分,来指导学生网络的训练,实现知识迁移(knowledge transfer);为了利用HSI自监督知识,本发明将软标签加入网络训练中,本发明中整个全连接神经网络损失Loss由三个部分组成,分别是:网络输出预测和样本真实标签之间的Lh;网络输出预测和软标签之间的Ls以及光谱序列翻转前后之间的Lq,本发明对Lh、Ls、Lq分别用pytorch自带CrossEntropyLoss()函数进行计算求和得到全连接神经网络损失Loss;全连接神经网络损失Loss如式(12)所示:其中,式(12)中,网络的层数定义为R。
10.根据利要求3所述的自适应软标签在高光谱图像分类中的应用,其特征在于:所述步骤d)中训练测试的具体步骤如下:将步骤a)中经过变换操作得到的8个训练样本的训练数据输入公式(10)所示网络结构,开始训练,根据公式(11)和公式(12)计算全连接神经网络损失Loss,使用pytorch包自带函数loss.backward()进行反向传播,找到最优参数,得到最优参数模型;测试阶段,首先加载之前拥有的最优参数模型,对测试集进行与训练集相同预处理工作,将处理后的数据放入网络模型,将网络预测输出与测试样本真实标签进行比较,得到精度结果,利用spectral包的save_rgb函数,传入参数为预测数据结果b,并利用自带颜色库spectral.spy_colors将每一类的预测结果b用不同颜色标记出来,得到结果。