利索能及
我要发布
收藏
专利号: 2024110795691
申请人: 广东海洋大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种遥感图像的特征增强方法,其特征在于,所述方法包括以下步骤:

S100,构建特征增强模型,所述特征增强模型包括双向自适应局部‑全局特征编码器、解码器和重构单元;其中,所述双向自适应局部‑全局特征编码器用于提取精分辨率图像的多分辨率局部‑全局特征和粗分辨率图像的多分辨率局部‑全局特征;

S200,获取待处理图像,将所述待处理图像输入所述双向自适应局部‑全局特征编码器,提取浅层局部特征和多个分辨率的局部‑全局特征;其中,所述待处理图像包括精分辨率图像和粗分辨率图像;

S300,将所述浅层局部特征和多个分辨率的局部‑全局特征经解码器从低分辨率向高分辨率逐级融合,生成理想分辨率的融合特征,进而通过重构单元将所述理想分辨率的融合特征生成高分辨率图像;

所述双向自适应局部‑全局特征编码器包括两条编码器支路,每条所述编码器支路均包括MDconv模块、分别与N+1个分辨率阶层对应的RMDCT模块和采样模块;

S200中,所述将所述待处理图像输入所述双向自适应局部‑全局特征编码器,提取浅层局部特征和多个分辨率的局部‑全局特征,包括:S210,将所述待处理图像输入MDconv模块,提取所述待处理图像的浅层局部特征;

S220,通过N+1个分辨率阶层的RMDCT模块和N次采样操作对所述待处理图像提取得到N+1个分辨率阶层的局部‑全局特征;

S210中,所述将所述待处理图像输入MDconv模块,提取所述待处理图像的浅层局部特征,包括:通过所述MDconv模块提取所述待处理图像的浅层局部特征,数学表达式如下:其中,SF0和SCN分别表示精分辨率图像和粗分辨率图像的浅层局部特征, 表示核大小为3、空洞率是i的空洞卷积操作,FIi和CIi分别表示由 提取的精分辨率图像和粗分辨率图像的特征, 表示卷积核为1的卷积操作,κlrelu(·)表示泄露线性整流函数,κconcat(·)表示沿通道方向的拼接操作,FI代表精分辨率图像,CI表示粗分辨率图像;

S220中,所述通过N+1个分辨率阶层的RMDCT模块和N次采样操作对所述待处理图像提取得到N+1个分辨率阶层的局部‑全局特征,包括:通过以下公式对所述待处理图像提取得到N+1个分辨率阶层的局部‑全局特征:F0=κRMDCT(SF0);

Fn=κRMDCT(DFn‑1)n=1,…,N;

CN=κRMDCT(SCN);

Cn‑1=κRMDCT(UCn)n=1,…,N;

其中,κRMDCT(·)表示RMDCT模块处理的函数,Fn表示由所述双向自适应局部‑全局特征编码器的一条编码器支路的第n分辨率阶层的RMDCT模块对精分辨率图像提取的局部‑全局特征,Cn表示由另一条编码器支路的第n分辨率阶层的RMDCT模块对粗分辨率图像提取的局部‑全局特征,DFn表示对Fn进行下采样操作获得的局部‑全局下采样特征,κunshuffle(·)表示下采样操作,UCn表示对Cn进行上采样操作获得的局部‑全局上采样特征,κshuffle(·)表示上采样操作, 表示核为3的卷积操作;其中,n=0,1,…,N;

所述RMDCT模块包括残差‑MDconv模块和MDCT模块,所述MDCT模块为多头深度卷积Tr ansformer模块,所述残差‑MDconv模块和MDCT模块构成残差结构;所述残差‑MDconv模块采用残差连接避免梯度消失,用于提取和增强局部信息;所述MDCT模块包括层归一化处理模块、多头深度卷积注意力模块、增强的前向传递网络和残差连接;

所述RMDCT模块处理的过程包括:

S510,对MDCT模块的输入图像Z进行层归一化操作得到归一化后的特征ZLN,对所述归一化后的特征ZLN通过一个1×1卷积层聚集像素级跨通道上下文和1个3×3深度卷积编码通道分离空间上下文并生成查询、键和值;其中,第一分辨率阶层的MDCT模块的输入图像Z是所述浅层局部特征,后续MDCT模块的输入图像Z为前一分辨率阶层输出的局部‑全局下采样特征或局部‑全局上采样特征;

层归一化操作和生成查询、键和值的过程表达式如下:

ZLN=κLN(Z);

其中,κLN是层归一化操作,Z和ZLN是MDCT模块的输入图像和对所述输入图像层归一化处理后的归一化特征,Q、K、V分别为生成的查询、键和值, 和 表示映射生成Q的核为3×3的深度卷积操作和核为1的卷积操作; 和 表示映射生成K的核为3×3的深度卷积操作和核为1的卷积操作; 和 表示映射生成V的核为3×3的深度卷积操作和核为1的卷积操作;

S520,将查询Q和键K变形得到Qr和Kr,并进行点积和Softmax操作生成转置注意力图A,得到查询Q和键K之间相关性的全局注意力权重;其中,所述生成转置注意力图A的过程表达式如下:其中,A为转置注意力图像,Qr、Kr是分别对Q、K经变形操作获得; 是用于调节幅值的可学习参数;

S530,对值V变形得到Vr,将所述Vr与转置注意力图A相乘得到校正后的特征,有助于得到有用的局部上下文;最后对所述校正后的特征变形并通过1×1卷积实现特征互联得到互联特征ZA,将所述互联特征ZA与输入图像Z进行残差连接生成第一局部‑全局特征Z′;其中,所述生成互联特征ZA和第一局部‑全局特征Z′的过程表达式如下:Z′=Z+ZA;

其中,ZA是经卷积自注意力校正后的互联特征, 表示核为1的卷积操作,κr为变形操作,Vr是对V经变形操作获得,Z′是经归一化处理、卷积自注意力和残差连接后输出的第一局部‑全局特征;

S540,所述第一局部‑全局述特征Z′通过层归一化操作、增强的前向传递网络和残差连接生成第二局部‑全局特征Z″;其中,所述生成第二局部‑全局特征Z″的过程表达式如下:其中,Z″为通过层归一化操作、增强的前向传递网络、残差连接后生成的第二局部‑全局特征,κGELU是高斯误差线性单元激活函数;

S550,将所述MDCT模块生成的第二局部‑全局特征Z″、经过残差‑MDconv模块操作的输入图像进行残差连接生成所述双向自适应局部‑全局特征编码器中第n分辨率阶层RMDCT模块的局部‑全局特征。

2.一种遥感图像的特征增强系统,其特征在于,所述系统包括:

至少一个处理器;

至少一个存储器,用于存储至少一个程序;

当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1所述的遥感图像的特征增强方法。