1.一种基于ConvLSTM的时序序列影像重建方法,包含以下步骤:步骤1:构造时间序列影像;
选取研究区的遥感时间序列影像,记作I:I={I1,I2,...,Im} (1)共有m景影像,每景按照时间递增的顺序进行排列。
利用标记工具标识出影像上云覆盖区域,将影像划分为互不相交的无云区域和有云区域。然后,将云区域标记为缺失值,再将部分区域缺失的时间序列影像表示为步骤2:提取地表同质影像对象;
从遥感时序影像I中选取一景无云或少云影像,利用影像分割方法将像元按照同质性进行聚类,形成同质影像对象(图斑)。该过程可以进一步分解为以下两个子步骤:步骤2‑1:初步分割;
利用分割软件eCognition中常用的多尺度分割算法对影像进行分割,分割参数的确定由人工试错的办法来选定,获得初步分割结果。
步骤2‑2:分割结果优化;
初分割结果往往不理想,存在过分割现象,利用相邻分割区域的光谱相似性进行区域合并来优化分割结果。相邻分割区域的光谱相似性通过两者平均光谱矢量间的欧式距离E(Ci,Cj)来度量:
其中,Ci和Cj是分割区域的平均光谱向量,M是影像的波段数。若E(Ci,Cj)小于阈值T,实现分割结果优化。
步骤3:对同质影像对象(图斑)进行分类;
在步骤2基础上,根据地物覆盖类型的不同,建立地物分类体系CL,假设研究区共有n种不同类别:
CL={cl1,cl2,...,cln} (4)同样利用eCognition软件,在获得图斑的基础上,根据分类体系CL选择分类样本,然后构建特征空间也就是参与分类的特征,将其应用到所有类别中,最后执行分类,实现根据地物不同覆盖类型对图斑进行分类的效果。
步骤4:构建ConvLSTM网络框架;
ConvLSTM在FC‑LSTM的基础上将输入到状态,状态到状态的前馈式计算方式转换为卷积形式,更好地模拟了时空关系。
基于上述时空序列预测问题,构建网络框架分为以下两个子步骤:步骤4‑1:构建编码网络;
编码网络通过堆叠多个ConvLSTM层形成,将整个输入序列压缩为隐藏状态张量。
步骤4‑2:构建预测网络;
预测网络同样通过堆叠多个ConvLSTM层形成,而预测网络会展开编码网络生成的隐藏状态以给出最终预测结果。
步骤5:制作训练样本,进行模型训练;
在步骤3基础上得到已分类好的n种图斑P:
1 2 n
P={P ,P ,...,P} (5)i i
同种类型图斑P∈P根据时间顺序构成时间序列数据Pt:1
对于第一种类型图斑构成的时间序列数据Pt进行筛选,选择出在时间戳t内所有元素1
都无缺失部分的图斑形成新的时间序列,也就是训练样本集M∈Pt,假设共有l个训练样本:如果筛选后样本数目不足,可通过数据增强的方式提高样本数量。设置训练超参数后,1
将样本集M中的元素进行模型训练,得到第一种地物覆盖类型的时空序列模型f。
i 2
按照上述方式对P ∈P,i=2,3,...,n图斑进行训练,得到多个时空序列预测模型f ,
3 n
f ,...,f。
步骤6:模型预测;
1
在步骤5得到,将Pt 与M作差集运算得到带有缺失部分需要重建的数据集M',利用模型捕获到的时间变化趋势和空间信息特征对M'进行预测,实现了对缺失部分的重建。
根据不同类型下的时空序列模型对具有缺失域的时间序列数据进行预测,达到重建效果。