1.一种基于TRANSFORMER特征融合的高光谱影像分类方法,其特征在于,包括以下步骤:S1:将原始高光谱影像进行主成分分析(PCA)处理;
B×M×N
S2:影像转置处理,令X∈R 表示PCA后获得的图像立方体,其中B,M和N分别是通道数、高度和宽度,X1和X3是转置X后的图像立方体,其大小分别为B×N×M和M×B×N,X2代表原始X;
S3:将X1、X2、X3作为三通道卷积神经网络的输入,进行空‑谱信息挖掘,三个卷积神经网络均由三维和二维卷积神经网络组成,将三通道卷积神经网络挖掘得到的空‑谱信息的特征图分别表示为X1new、X2new、X3new;
S4:将S3所述特征图X1new、X2new、X3new,通过语义标记器传递转换为序列T1、T2和T3;
S5:将T1、T2和T3输入三个Transformer的三个编码器中,这三个编码器具有相同的结构,由多头自注意力(MSA)和多层感知模块(MLP)组成,来获取不同维度特征的更高层次关联信息T1new、T2new和T3new;
S6:将空‑谱信息特征图级联Xnew=concat{X1new, X2new, X3new},同时将深层关联序列信息级联Tnew=concat{ T1new, T2new, T3new};
S7:采用Transformer的解码器模块进行特征融合,将Xnew和Tnew融合,获得融合特征Xfusion,更有效地利用影像光谱特征与空间特征;
S8:从解码器获得的融合特征Xfusion直接输入预测模块进行分类。
2.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法,其特征在于,所述步骤S2中影像转置处理的公式为X1, X3=Transpose(X),Transpose(.)表示一次转置。
3.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法,其特征在于,所述步骤S3中三通道卷积神经网络的卷积核的大小,需要根据输入图像尺寸进行调整。
4.根据权利要求1所述的一种基于TRANSFORMER特征融合的高光谱影像分类方法,其特征在于,所述步骤S4中通过语义标记器传递X1new, X2new, X3new得到序列T1、T2和T3,公式为:T
Ti=(Ai) Xinew
T
Ai=(σ(φ(Xinew; W)))
C×L (HW)×L
其中φ(.)表示具有可学习核W∈R 的逐点卷积,σ(.)是用于规范特征图Ai∈R 。