利索能及
我要发布
收藏
专利号: 2023105970056
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述方法包括:将待检测遥感图像输入改进型RetinaNet目标检测模型的特征提取模块进行特征提取,生成不同尺度的初步图像特征;

将所述不同尺度的初步图像特征输入所述改进型RetinaNet目标检测模型的第一注意力模块进行权重信息分析,生成不同尺度的初步权重图像特征;

将所述不同尺度的初步权重图像特征输入所述改进型RetinaNet目标检测模型的特征融合模块进行特征融合,生成不同尺度的融合特征;

将所述不同尺度的初步图像特征和所述不同尺度的融合特征输入所述改进型RetinaNet目标检测模型的特征增强模块,生成不同尺度的增强融合特征;

将所述不同尺度的增强融合特征输入所述改进型RetinaNet目标检测模型的第二注意力模块进行权重信息分析,生成不同尺度的增强权重图像特征;

将所述不同尺度的增强权重图像特征输入所述改进型RetinaNet目标检测模型的卷积模块进行处理,生成不同尺度的最终图像特征;

将所述不同尺度的最终图像特征输入所述改进型RetinaNet目标检测模型的分类与回归模块进行目标检测,输出目标检测结果。

2.根据权利要求1所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述特征提取模块包括:特征提取单元、第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元;所述将待检测遥感图像输入改进型RetinaNet目标检测模型的特征提取模块进行特征提取,生成不同尺度的初步图像特征,包括:将待检测遥感图像输入所述特征提取单元提取出遥感特征图后输入第一卷积单元进行下采样,输出第一初步特征图,所述第一初步特征图的尺度是所述遥感特征图的1/4;

将所述第一初步特征图输入所述第二卷积单元进行下采样,输出第二初步特征图,所述第二初步特征图的尺度是所述遥感特征图的1/8;

将所述第二初步特征图输入所述第三卷积单元进行下采样,输出第三初步特征图,所述第三初步特征图的尺度是所述遥感特征图的1/16;

将所述第三初步特征图输入所述第四卷积单元进行下采样,输出第四初步特征图,所述第四初步特征图的尺度是所述遥感特征图的1/32;

其中,初步图像特征包括所述第一初步特征图、所述第二初步特征图、所述第三初步特征图和所述第四初步特征图。

3.根据权利要求2所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述第一注意力模块包括:第一注意力单元、第二注意力单元、第三注意力单元和第四注意力单元;

所述将所述不同尺度的初步图像特征输入所述改进型RetinaNet目标检测模型的第一注意力模块进行权重信息分析,生成不同尺度的初步权重图像特征,包括:将所述第一初步特征图输入所述第一注意力单元进行权重信息分析,生成第一初步权重图像,所述第一初步权重图像的尺度是所述遥感特征图的1/4;

将所述第二初步特征图输入所述第二注意力单元进行权重信息分析,生成第二初步权重图像,所述第二初步权重图像的尺度是所述遥感特征图的1/8;

将所述第三初步特征图输入所述第三注意力单元进行权重信息分析,生成第三初步权重图像,所述第三初步权重图像的尺度是所述遥感特征图的1/16;

将所述第四初步特征图输入所述第四注意力单元进行权重信息分析,生成第四初步权重图像,所述第四初步权重图像的尺度是所述遥感特征图的1/32;

其中,所述初步权重图像特征包括第一初步权重图像、第二初步权重图像、第三初步权重图像和第四初步权重图像。

4.根据权利要求3所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述特征融合模块包括:第五卷积单元、第一特征融合单元、第二特征融合单元和第三特征融合单元;

所述将所述不同尺度的初步权重图像特征输入所述改进型RetinaNet目标检测模型的特征融合模块进行特征融合,生成不同尺度的融合特征,包括:所述第四初步权重图像输入所述第五卷积单元进行降维操作,获得待融合特征图像,所述待融合特征图像的尺度是所述遥感特征图的1/32;

将所述待融合特征图像和所述第三初步权重图像输入第一特征融合单元进行特征融合,获得第一融合特征图,所述第一融合特征图的尺度是所述遥感特征图的1/16;

将所述第一融合特征图和所述第二初步权重图像输入第二特征融合单元进行特征融合,获得第二融合特征图,所述第二融合特征图的尺度是所述遥感特征图的1/8;

将所述第二融合特征图和所述第一初步权重图像输入第三特征融合单元进行特征融合,获得第三融合特征图,所述第三融合特征图的尺度是所述遥感特征图的1/4;

其中,所述融合特征包括所述待融合特征图像、所述第一融合特征图、所述第二融合特征图和所述第三融合特征图。

5.根据权利要求4所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述特征增强模块包括:第六卷积单元、第七卷积单元、第八卷积单元、第九卷积单元、特征相加单元、第一下采样单元、第二下采样单元、第三下采样单元、第一相加融合单元、第二相加融合单元、第三相加融合单元和第四相加融合单元;

所述将所述不同尺度的初步图像特征和所述不同尺度的融合特征输入所述改进型RetinaNet目标检测模型的特征增强模块,生成不同尺度的增强融合特征,包括:将所述第一初步特征图输入第六卷积单元进行处理后,获得处理后的第一初步特征图;

将所述第二初步特征图输入第七卷积单元进行处理后,获得处理后的第二初步特征图;

将所述第三初步特征图输入第八卷积单元进行处理后,获得处理后的第三初步特征图;

将所述第四初步特征图输入第九卷积单元进行处理后,获得处理后的第四初步特征图;

采用线性插值将所述处理后的第二初步特征图、处理后的第三初步特征图和所述处理后的第四初步特征图的大小增加至与所述处理后的第一初步特征图的大小相同后,与所述处理后的第一初步特征图输入至特征相加单元进行相加操作,获得第一细化特征图;

将所述第一细化特征图输入第一下采样单元进行下采样,获得第二细化特征图;

将所述第二细化特征图输入第二下采样单元进行下采样,获得第三细化特征图;

将所述第三细化特征图输入第三下采样单元进行下采样,获得第四细化特征图;

将所述第四细化特征图与所述待融合特征图像输入第一相加融合单元进行融合,生成第一增强融合特征图,所述第一增强融合特征图的尺度是所述遥感特征图的1/32;

将所述第三细化特征图与所述第一融合特征图输入第二相加融合单元进行融合,生成第二增强融合特征图,所述第二增强融合特征图的尺度是所述遥感特征图的1/16;

将所述第二细化特征图与所述第二融合特征图输入第三相加融合单元进行融合,生成第三增强融合特征图,所述第三增强融合特征图的尺度是所述遥感特征图的1/8;

将所述第一细化特征图与所述第三融合特征图输入第四相加融合单元进行融合,生成第四增强融合特征图,所述第四增强融合特征图的尺度是所述遥感特征图的1/4;

其中,所述增强融合特征包括第一增强融合特征图、第二增强融合特征图、第三增强融合特征图和第四增强融合特征图。

6.根据权利要求5所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述第二注意力模块包括:第五注意力单元、第六注意力单元、第七注意力单元和第八注意力单元;

所述将所述不同尺度的增强融合特征输入所述改进型RetinaNet目标检测模型的第二注意力模块进行权重信息分析,生成不同尺度的增强权重图像特征,包括:将所述第一增强融合特征图输入所述第五注意力单元进行权重信息分析,生成第一增强权重特征图像,所述第一增强权重特征图像的尺度是所述遥感特征图的1/32;

将所述第二增强融合特征图输入所述第六注意力单元进行权重信息分析,生成第二增强权重特征图像,所述第二增强权重特征图像的尺度是所述遥感特征图的1/16;

将所述第三增强融合特征图输入所述第七注意力单元进行权重信息分析,生成第三增强权重特征图像,所述第三增强权重特征图像的尺度是所述遥感特征图的1/8;

将所述第四增强融合特征图输入所述第八注意力单元进行权重信息分析,生成第四增强权重特征图像,所述第四增强权重特征图像的尺度是所述遥感特征图的1/4;

其中,所述增强权重图像特征包括所述第一增强权重特征图像、所述第二增强权重特征图像、所述第三增强权重特征图像和所述第四增强权重特征图像。

7.根据权利要求6所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述第一注意力单元、第二注意力单元、第三注意力单元、第四注意力单元、第五注意力单元、第六注意力单元、第七注意力单元和第八注意力单元的注意力网络结构相同,该注意力网络包括:第一MaxPool变换、第一AvgPool变换、第一多层感知机、第一相加操作、第一Sigmoid 激活函数、第一相乘操作、第一卷积层、第二MaxPool变换、第二AvgPool变换、拼接操作、第二卷积层、第二Sigmoid 激活函数和第二相乘操作;

将特征图输入至第一MaxPool变换和第一AvgPool变换处理后输入第一多层感知机,在将所述第一多层感知机输出的特征通过第一相加操作相加后经过第一Sigmoid 激活函数得到第一权重系数;

将所述权重系数与输入的所述特征图通过第一相乘操作后获得第一特征图;

将所述第一特征图输入第一卷积层处理,生成第二特征图;

将所述第二特征图输入第二MaxPool变换和第二AvgPool变换后通过拼接操作进行拼接,获得第三特征图;

将所述第三特征图输入第二卷积层处理后经过第二Sigmoid 激活函数得到第二权重系数;

将所述第二权重系数与所述第一特征图通过所述第二相乘操作后输出。

8.根据权利要求6所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述卷积模块包括卷积核大小为3*3的第三卷积层、第四卷积层、第五卷积层和第六卷积层;

所述将所述不同尺度的增强权重图像特征输入所述改进型RetinaNet目标检测模型的卷积模块进行处理,生成不同尺度的最终图像特征,包括:将所述第一增强权重特征图像输入所述第三卷积层进行处理,生成第一最终图像,所述第一最终图像的尺度是所述遥感特征图的1/32;

将所述第二增强权重特征图像输入所述第四卷积层进行处理,生成第二最终图像,所述第二最终图像的尺度是所述遥感特征图的1/16;

将所述第三增强权重特征图像输入所述第五卷积层进行处理,生成第三最终图像,所述第三最终图像的尺度是所述遥感特征图的1/8;

将所述第四增强权重特征图像输入所述第六卷积层进行处理,生成第四最终图像,所述第四最终图像的尺度是所述遥感特征图的1/4;

其中,所述最终图像特征包括所述第一最终图像、所述第二最终图像、所述第三最终图像和所述第四最终图像。

9.根据权利要求8所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述分类与回归模块包括:第一分类与回归单元、第二分类与回归单元、第三分类与回归单元和第四分类与回归单元;

所述将所述不同尺度 的最终图像特征输入所述改进型RetinaNet目标检测模型的分类与回归模块进行目标检测,输出目标检测结果,包括:将所述第一最终图像输入所述第一分类与回归单元进行目标检测,输出第一初步检测结果;

将所述第二最终图像输入所述第二分类与回归单元进行目标检测,输出第二初步检测结果;

将所述第三最终图像输入所述第三分类与回归单元进行目标检测,输出第三初步检测结果;

将所述第四最终图像输入所述第四分类与回归单元进行目标检测,输出第四初步检测结果;

根据预设的IOU阈值,对所述第一初步检测结果、所述第二初步检测结果、所述第三初步检测结果和所述第四初步检测结果进行非极大值抑制,获得目标检测结果,其中,所述预设的IOU阈值为0.5,所述目标检测结果包括目标框检测结果以及目标分类结果。

10.根据权利要求9所述的基于改进型RetinaNet的遥感图像目标检测方法,其特征在于,所述第一分类与回归单元、第二分类与回归单元和第三分类与回归单元采用的目标检测算法为anchor‑based算法;

所述第四分类与回归单元采用的目标检测算法为anchor‑based算法和anchor‑free算法。