利索能及
我要发布
收藏
专利号: 2023101852915
申请人: 合肥工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,包括以下步骤:

步骤1、获取目标的SAR原始图像和可见光原始图像,分别对SAR原始图像和可见光原始图像进行预处理,得到同等分辨率大小的SAR图像和可见光图像,并对可见光图像进行上采样得到可见光的上采样图像;

步骤2、分别提取所述SAR图像的多尺度深层空间细节特征、所述可见光图像的多尺度深层光谱保持特征,由此对应得到SAR图像的空间细节特征图、可见光图像的光谱保持特征图;

步骤3、基于空间注意力机制提取步骤2得到的SAR图像空间细节特征图的空间信息权重;随后对步骤1得到的可见光图像进行上采样,得到可见光上采样图像特征图;然后,基于所述空间信息权重对所述可见光上采样图像特征图进行校准,得到空间加权可见光图像特征图;

基于通道注意力机制提取步骤2得到的可见光图像光谱保持特征图的光谱信息权重图,基于所述光谱信息权重图对步骤2得到的SAR图像空间细节特征图进行校准,得到通道加权SAR特征图;

采用级联策略将所述空间加权可见光图像特征图、通道加权SAR特征图进行信息加权融合,得到融合特征图;

步骤4、提取步骤3得到的融合特征图的细节信息;

步骤5、将步骤4得到的细节信息,叠加至步骤1得到的可见光的上采样图像,得到最终图像。

2.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤1中,对SAR图像的预处理依次包括辐射校正、几何校正、斑点滤波;对可见光图像的预处理依次包括辐射校正、大气校正、重采样、图像配准。

3.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤2中,首先分别提取SAR图像的高频信息、可见光图像的高频信息;然后基于SAR图像的高频信息提取得到SAR图像的小尺度浅层空间细节特征,并基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征;最后对SAR图像的小尺度浅层空间细节特征、可见光图像的大尺度浅层光谱保持特征分别进行多尺度特征提取,对应得到SAR图像的多尺度深层空间细节特征、可见光图像的多尺度深层光谱保持特征,由此获取SAR图像的空间细节特征图、可见光图像的光谱保持特征图。

4.根据权利要求3所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤2中,采用高通滤波器得到SAR图像和可见光图像的高频信息,并通过上采样使SAR图像和可见光图像的高频信息具有同等分辨率。

5.根据权利要求3所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤2中,采用可分离卷积核基于SAR图像的高频信息提取得到SAR图像的小尺度浅层空间细节特征。

6.根据权利要求3所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤2中,从RGB通道中采用9×9卷积核基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征。

7.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤3的空间注意力机制中,首先采用一个1×1卷积层对 SAR图像的空间细节特征图沿通道方向进行降维;然后采用softmax函数对降维后的SAR图像的空间细节特征图进行归一化处理,获得所述空间信息权重;接着采用转置卷积对步骤1可见光图像进行上采样,得到可见光上采样图像特征图;最后,将空间信息权重与所述可见光上采样图像特征图相乘以完成校准,得到空间加权可见光图像特征图。

8.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤3中,首先基于通道注意力机制将步骤2得到的可见光图像光谱保持特征图进行全局池化处理和SoftMax函数处理,生成所述光谱信息权重图;最后,将光谱信息权重图与步骤 2得到的SAR图像空间细节特征图相乘以完成校准,得到通道加权SAR特征图。

9.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤4中,采用四层卷积层提取步骤3得到的融合特征图的细节信息,其中:第一层卷积层为 3×3卷积核构成,由第一层卷积层基于从融合特征图生成112通道特征图;

第二层卷积层为 3×3卷积核构成,由第二层卷积层基于第一层卷积核输出结果生成

64通道特征图;

第三层卷积层为 3×3卷积核构成,由第三层卷积层基于第二层卷积核输出结果生成

32通道特征图;

第四层卷积层为 3×3卷积核构成,由第四层卷积核将第三层卷积核输出结果的特征通道维度降到3维,并输出融合特征图的细节信息。

10.根据权利要求1所述的基于交叉混合注意力的SAR与可见光图像融合方法,其特征在于,步骤5中采用跳线连接方式将步骤 4得到的细节信息叠加至步骤1得到的可见光的上采样图像,得到最终图像。