利索能及
我要发布
收藏
专利号: 2021108948464
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于遥感场景识别的FGR‑AM方法,其特征在于,所述FGR‑AM方法包括以下步骤:S1,采用依次连接的5个瓶颈卷积模块对输入的原始遥感图像进行特征提取;

S2,在第3个瓶颈卷积模块和第5个瓶颈卷积模块之后分别连接通道注意力模块,再连接空间注意力模块,形成两个通道;

其中,通道注意力模块用于增强相应通道中有效信息,抑制无效信息;

空间注意力模块用于分别从第3个瓶颈卷积模块提取的图像特征中同时提取遥感图像包含的轮廓信息和视觉中更感兴趣的特征,以及从第5个瓶颈卷积模块提取的图像特征中提取出遥感图像包含的细节特征;

S3,将两个通道经过空间注意力模块所得出的最终的权重矩阵输入双线性细粒度融合特征模块中,即将提取出的遥感图像包含的轮廓信息、视觉中更感兴趣的特征和遥感图像包含的细节特征进行融合,形成具有全局空间和信道一致性表示的双线性向量;

S4,采用主成分分析模块将步骤S3生成的多维特征映射到正交的k维特征,对遥感图像进行识别分类。

2.根据权利要求1所述的用于遥感场景识别的FGR‑AM方法,其特征在于,步骤S1中,所述瓶颈卷积模块的特征提取过程包括以下步骤:S11,将图像输入一个卷积核为1×1,激活函数为swish的标准卷积层进行特征提取,通道扩大为基础通道数的n倍;

S12,将步骤S11中提取的特征输入一个卷积核为3×3,步长为2的Depthwise卷积层进行特征提取,通道数不变;

S13,将步骤S12提取的图像特征输入一个卷积核为1×1的线性卷积中,对特征图进行降维,降为原来的通道数。

3.根据权利要求2所述的用于遥感场景识别的FGR‑AM方法,其特征在于,按照处理次序,5个瓶颈卷积模块的基础通道数分别为64、128、256、512和512;

其中,第1个和第2个瓶颈卷积模块对应的扩展值n的取值为6;第3个和第4个瓶颈卷积模块对应的扩展值n的取值为4;第5个瓶颈卷积模块对应的扩展值n的取值为2。

4.根据权利要求1所述的用于遥感场景识别的FGR‑AM方法,其特征在于,步骤S2中,通道注意力模块增强相应通道中有效信息和抑制无效信息的过程包括以下步骤:S21,针对第3个或者第5个瓶颈卷积模块,将相应瓶颈卷积模块所提取的特征F分别进c×h×w

行最大池化和平均池化处理,池化后的特征维数为1×1×c,其中F∈R ,c表示通道数,h表示输入特征映射的高,w表示输入特征映射的宽;

S22,将最大池化处理和平均池化处理后的两个特征维数为1×1×c输入共享的MLP中,MLP的第一层和第二层分别为c/16和c;

S23,将所得的两个特征向量进行权重相加,使用sigmoid函数来计算通道注意力的权c×1×1

重矩阵,得到MC∈R 。

5.根据权利要求4所述的用于遥感场景识别的FGR‑AM方法,其特征在于,步骤S2中,空间注意力模块分别从第3个瓶颈卷积模块提取的图像特征中同时提取遥感图像包含的轮廓信息和视觉中更感兴趣的特征,以及从第5个瓶颈卷积模块提取的图像特征中提取出遥感图像包含的细节特征的过程包括以下步骤:S31,将所提取的权重矩阵MC进行F1运算后,得到新的权重矩阵F′;

S32,将权重矩阵F′进行7×7的卷积处理,使用sigmoid函数来计算空间注意力的权重

1×h×w

矩阵,得到MS∈R ;其中,F1运算为 表示元素级乘法;

S33,将MS与F′进行F2运算后,得到新的权重矩阵F″;其中,F2运算为

6.一种基于权利要求1所述方法的用于遥感场景识别的FGR‑AM系统,其特征在于,所述FGR‑AM系统包括:

FGR‑AM遥感场景网络,该FGR‑AM遥感场景网络包括5个瓶颈卷积模块、第一通道注意力模块、第一空间注意力模块、第二通道注意力模块、第二空间注意力模块、双线性特征融合模块和主成分分析模块;

FGR‑AM遥感场景网络训练模块,用于将主成分分析模块替换成全连接层,对FGR‑AM遥感场景网络进行训练;

所述5个瓶颈卷积模块依次连接,用于对输入的原始遥感图像进行特征提取;

所述第一通道注意力模块的输入端与第3个瓶颈卷积模块的输出端连接,第一通道注意力模块的输出端通过第一空间注意力模块连接至双线性特征融合模块;所述第二通道注意力模块的输入端与第5个瓶颈卷积模块的输出端连接,第二通道注意力模块的输出端通过第二空间注意力模块连接至双线性特征融合模块;

所述第一通道注意力模块和第二通道注意力模块分别用于对第3个和第5个瓶颈卷积模块提取的图像特征进行有效信息增强处理和无效信息抑制处理;所述第一空间注意力模块用于从第3个瓶颈卷积模块提取的图像特征中同时提取遥感图像包含的轮廓信息和视觉中更感兴趣的特征;所述第二空间注意力模块用于从第5个瓶颈卷积模块提取的图像特征中提取出遥感图像包含的细节特征;

所述双线性特征融合模块用于将通道注意力和空间注意力增强特征集合起来,再将提取出的遥感图像包含的轮廓信息、视觉中更感兴趣的特征和遥感图像包含的细节特征进行融合,形成具有全局空间和信道一致性表示的双线性向量;

所述主成分分析模块用于将双线性特征融合模块生成的多维特征映射到正交的k维特征,对遥感图像进行识别分类。

7.根据权利要求6所述的用于遥感场景识别的FGR‑AM系统,其特征在于,所述瓶颈卷积模块包括依次连接的标准卷积层、Depthwise卷积层和线性卷积层;

所述标准卷积层的卷积核为1×1,激活函数为swish,通道扩大为基础通道数的n倍;所述Depthwise卷积层的卷积核为3×3,步长为2,通道数维持为基础通道数的n倍;所述线性卷积层的卷积核为1×1,通道数降为基础通道数;

按照图像处理次序,5个瓶颈卷积模块的基础通道数分别为64、128、256、512和512;其中,第1个和第2个瓶颈卷积模块对应的扩展值n的取值为6;第3个和第4个瓶颈卷积模块对应的扩展值n的取值为4;第5个瓶颈卷积模块对应的扩展值n的取值为2。

8.根据权利要求6所述的用于遥感场景识别的FGR‑AM系统,其特征在于,所述第一通道注意力模块和第二通道注意力模块对第3个和第5个瓶颈卷积模块提取的图像特征进行有效信息增强处理和无效信息抑制处理的过程包括以下步骤:针对第3个或者第5个瓶颈卷积模块,将相应瓶颈卷积模块所提取的特征F分别进行最c×h×w

大池化和平均池化处理,池化后的特征维数为1×1×c,其中F∈R ,c表示通道数,h表示输入特征映射的高,w表示输入特征映射的宽;

将最大池化处理和平均池化处理后的两个特征维数为1×1×c输入共享的MLP中,MLP的第一层和第二层分别为c/16和c;

将所得的两个特征向量进行权重相加,使用sigmoid函数来计算通道注意力的权重矩c×1×1

阵,得到MC∈R 。

9.根据权利要求8所述的用于遥感场景识别的FGR‑AM系统,其特征在于,所述第一空间注意力模块或者第二空间注意力模块提取特征的过程包括以下步骤:S31,将第一通道注意力模块或者第二通道注意力模块所提取的权重矩阵MC进行F1运算后,得到新的权重矩阵F′;

S32,将权重矩阵F′进行7×7的卷积处理,使用sigmoid函数来计算空间注意力的权重

1×h×w

矩阵,得到MS∈R ;其中,F1运算为 表示元素级乘法;

S33,将MS与F′进行F2运算后,得到新的权重矩阵F″;其中,F2运算为