利索能及
我要发布
收藏
专利号: 2025100065447
申请人: 广东海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于时空融合的序列遥感影像海岸带地物分类方法,其特征在于,所述方法包括以下步骤:获取样本影像,所述样本影像包括先验时刻的高空间分辨率影像和预测时刻的低空间分辨率影像;

构建时空融合的海岸带地物分类模型,通过所述样本影像训练所述海岸带地物分类模型,直至所述海岸带地物分类模型的复合损失低于设定的损失阈值,得到训练好的海岸带地物分类模型;

获取待分类的遥感影像,通过所述训练好的海岸带地物分类模型对所述遥感影像中预测时刻的低空间分辨率影像中的海岸带地物进行分类;其中,所述待分类的遥感影像包括先验时刻的高空间分辨率影像和预测时刻的低空间分辨率影像;

所述构建时空融合的海岸带地物分类模型,通过所述样本影像训练所述海岸带地物分类模型,包括:构建时空融合的海岸带地物分类模型;其中,所述海岸带地物分类模型包括高频‑低频特征编码器、高频‑低频融合模块、逆变换、卷积Transformer解码器、以及分类器;所述高频‑低频特征编码器包括复合低分影像生成模块、多分辨率分解模块、以及密集卷积Tran sformer模块;所述高频‑低频融合模块包括高频融合模块和低频融合模块;

获取样本影像中的高空间分辨率影像和低空间分辨率影像,通过所述复合低分影像生成模块对高空间分辨率影像进行降分辨率处理,获得与低空间分辨率影像相同尺度的降级影像,将低空间分辨率影像与所述降级影像进行融合得到复合低分影像;

通过所述多分辨率分解模块分别对高空间分辨率影像和复合低分影像进行分解,从所述高空间分辨率影像中提取出高分高频图和高分低频图,从所述复合低分影像中提取出低分高频图和低分低频图;

通过所述密集卷积Transformer模块分别提取所述高分高频图、高分低频图、低分高频图和低分低频图的层级特征,并经像元卷积融合获得频域局部‑全局特征;其中,所述频域局部‑全局特征包括高分高频特征、高分低频特征、低分高频特征、以及低分低频特征;

通过所述高频融合模块和低频融合模块分别将提取的频域局部‑全局特征进行融合,得到高频融合特征和低频融合特征;将所述低频融合特征和高频融合特征经逆变换获得时空融合特征;

通过所述卷积Transformer解码器对时空融合特征进行重构获得长时序高空间分辨率的重建影像,将所述重建影像传递到分类器中获取长时序海岸带地物分类图。

2.根据权利要求1所述的方法,其特征在于,所述从所述高空间分辨率影像中提取出高分高频图和高分低频图,从所述复合低分影像中提取出低分高频图和低分低频图,包括:将高空间分辨率影像经第一个NSPF分解得到第一高分低频图和第一高分高频图;

将第一高分低频图再经第二个NSPF分解得到第二高分低频图和第二高分高频图,第二高分低频图经第三个NSPF分解得到第三高分低频图和第三高分高频图;所述第三高分低频图即为高分低频图;

将第一高分高频图、第二高分高频图和第三高分高频图分别经第一个NSDF、第二个NSD F和第三个NSDF滤波获得第一高分高频子带图、第二高分高频子带图、第三高分高频子带图,所述第一高分高频子带图、第二高分高频子带图、第三高分高频子带图构成高分高频图。

3.根据权利要求1所述的方法,其特征在于,所述从所述复合低分影像中提取出低分高频图和低分低频图,包括:将复合低分影像经第一个NSPF分解得到第一低分低频图和第一低分高频图;

将第一低分低频图再经第二个NSPF分解得到第二低分低频图和第二低分高频图,第二低分低频图经第三个NSPF分解得到第三低分低频图和第三低分高频图;所述第三低分低频图即为低分低频图;

将第一低分高频图、第二低分高频图和第三低分高频图分别经第一个NSDF、第二个NSD F、第三个NSDF滤波获得第一低分高频子带图、第二低分高频子带图、第三低分高频子带图,所述第一低分高频子带图、第二低分高频子带图、第三低分高频子带图构成低分高频图。

4.根据权利要求2或3所述的方法,其特征在于,所述NSPF包括低通滤波器和高通滤波器,所述低通滤波器包括低通分解滤波器和低通重构滤波器,所述高通滤波器包括高通分解滤波器和高通重构滤波器;所述NSPF满足恒等式Lf(I)Lc(I)+Gf(I)Gc(I)=1;

所述NSDF包括扇形滤波器和棋盘滤波器,所述扇形滤波器包括扇形分解滤波器和扇形重构滤波器,所述棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器;所述NSDF满足恒等式Sf(I)Sc(I)+Cf(I)Cc(I)=1;

其中,I是输入图像,Lf(·)是低通分解滤波器函数,Lc(·)是低通重构滤波器函数,Gf(·)是高通分解滤波器函数,Gc(·)是高通重构滤波器函数;Sf(I)是扇形分解滤波器函数,Sc(I)是扇形重构滤波器函数,Cf(I)是棋盘分解滤波器函数,Cc(I)是棋盘重构滤波器函数。

5.根据权利要求1所述的方法,其特征在于,所述密集卷积Transformer模块分别提取所述高分高频图、高分低频图、低分高频图和低分低频图的层级特征和频域局部‑全局特征通过以下公式计算得到:其中,TFI和TFO分别是密集卷积Transformer模块的输入图像和输出的频域局部‑全局特征,所述输入图像包括高分高频图、高分低频图、低分高频图和低分低频图,所述频域局部‑全局特征包括高分高频特征、高分低频特征、低分高频特征和低分低频特征;TFi是第i个卷积Transformer模块输出的所述层级特征,i=1,2,3,4,fCT(·)是卷积Transformer模块的函数,fconcat(·)是拼接操作的函数;

所述卷积Transformer模块由层归一化、多卷积头转置注意力、局部增强前馈网络、残差连接构成,数学表达为:T=fCT(x);

q,1 k,1

其中,x表示卷积Transformer模块的输入,X表示x的归一化后的图像,W (·)、Wv,1(·)和W (·)分别表示投影生成Q、K和V的1×1像元卷积, 和 分别表示投影生成Q、K和V的3×3深度卷积,Q、K和V分别表示多卷积头转置注意力的查询、键和值,R(·)是变形操作的函数,β是可学习的缩放参数,A是生成的自注意力图,F1是经自注意力权重后的加强特征,F是经多卷积头转置注意力后的校正特征,T1是F经归一化后的图像,1

T2是T1经增强局部后的特征,W(·)是1×1像元卷积,GELU(·)是高斯误差线性单元函数,是3×3深度卷积,T表示卷积Transformer模块的输出。

6.根据权利要求5所述的方法,其特征在于,所述高频融合模块和低频融合模块分别将提取的频域局部‑全局特征进行融合得到高频融合特征和低频融合特征,包括3个交叉卷积注意力模块,所述交叉卷积注意力模块由层归一化、多交叉卷积头转置注意力、局部增强前馈网络、残差连接构成,并通过以下公式实现:其中,xf1表示高分高频特征或低分低频特征,xf2表示高分低频特征或低分高频特征,qf,1 kf,1 vf,1Xf1和Xf2表示xf1和xf2的归一化后的特征,W (·)、W (·)和W (·)分别表示投影生成Qf、Kf和Vf的1×1像元卷积, 和 分别表示投影生成Qf、Kf和Vf的3×3深度卷积,Qf、Kf和Vf表示多交叉卷积头转置注意力的查询、键和值,CA是生成的交叉注意力图,CF1是经交叉注意力权重后的交叉增强特征,CF是经多交叉卷积头转置注意力后的交叉融合特征,FT1是CF经归一化后的图像,FT2是FT1经增强局部后的特征,FT表示融合模块输出的高频融合特征或低频融合特征。

7.根据权利要求6所述的方法,其特征在于,所述通过所述卷积Transformer解码器对时空融合特征进行重构获得长时序高空间分辨率的重建影像,包括:通过解码器中的4个卷积Transformer模块进行时空融合特征的解码复原,恢复图像变化光谱信息和细节信息;

通过解码器中的2个3×3卷积与ReLU和最后1个3×3卷积重构高空间分辨率影像;

预测时刻的重建影像通过以下公式生成:

其中,Gp表示预测p时刻的重建影像, 表示3×3卷积后跟ReLU激活函数,STFF是时空融合特征。

8.根据权利要求1所述的方法,其特征在于,所述海岸带地物分类模型的复合损失通过以下方式计算得到:获取重建影像和对应的参考图像;

基于所述重建影像和对应的参考图像确定所述海岸带地物分类模型的复合损失;其中,所述复合损失包括像素级损失和特征级损失,像素级损失包括光谱一致性损失、结构一致性损失和图像内容损失;

所述特征损失LF的表达式为:

其中,N是批大小, 和 分别表示重建影像Gp和参考图像Tp在VGG‑19预训练模型的特征图;

所述光谱一致性损失Lpe的表达式为:

所述结构一致性损失LMS_SSIM的表达式为:

其中,MS_SSIM(Gp,Tp)为多尺度结构相似性指标;lH是亮度l的H尺度表示,ch是对比度c的h尺度表示,sh是结构s的h尺度表示, 和 分别表示重建影像Gp和参考图像Tp的均值, 表示重建影像Gp和参考图像Tp之间的协方差, 和 分别表示重建影像Gp和参考图像Tp的方差,b1和b2是为了避免分母为0的常数;SSIM(Gp,Tp)为结构相似性指标;

所述图像内容损失的表达式为:

所述复合损失函数LZ的表达式为:

其中,γ1、λ2、ξ3和 是权重系数。

9.一种基于时空融合的序列遥感影像海岸带地物分类系统,其特征在于,所述系统包括:至少一个处理器;

至少一个存储器,用于存储至少一个程序;

当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1至8任一项所述的基于时空融合的序列遥感影像海岸带地物分类方法。