利索能及
我要发布
收藏
专利号: 2024114306374
申请人: 佛山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征融合的小目标检测模型,其特征在于,包括骨干网络(1)和改进特征金字塔网络(2);所述改进特征金字塔网络(2)包括尺度调整单元(201)、特征增强和融合单元(202)以及特征图像输出单元(203);

所述骨干网络(1)具有多个特征提取层,所述骨干网络(1)通过多个所述特征提取层逐步地提取输入图像的特征,得到多个不同尺度的初步特征图像,并把多个所述初步特征图像输出至所述尺度调整单元(201);

所述尺度调整单元(201)用于把输入的所述初步特征图像的尺度进行调整,以得到各所述初步特征图像对应的融合前特征图像,所有所述融合前特征图像的通道数相同;

所述特征增强和融合单元(202)包括浅层融合模块(3)、中层融合模块(4)和深层融合模块(5),所述浅层融合模块(3)、所述中层融合模块(4)和所述深层融合模块(5)各自对多个所述融合前特征图像进行特征增强和融合处理,得到融合后特征图像;所述浅层融合模块(3)、所述中层融合模块(4)和所述深层融合模块(5)融合的所述融合前特征图像不完全相同;

所述特征图像输出单元(203)用于利用所有所述融合后特征图像生成并输出多个不同尺度的输出特征图像;所述输出特征图像的数量不小于所述融合后特征图像的数量;

所述骨干网络(1)为ResNet50网络,所述ResNet50网络包括从前到后依次连接的第一特征提取层(101)、第二特征提取层(102)、第三特征提取层(103)、第四特征提取层(104)和第五特征提取层(105);所述第三特征提取层(103)、所述第四特征提取层(104)和所述第五特征提取层(105)的输出端均与所述尺度调整单元(201)连接,以向所述尺度调整单元(201)输出对应的所述初步特征图像;

所述尺度调整单元(201)包括第一卷积块(6)、第二卷积块(7)和第三卷积块(8);

所述第一卷积块(6)的输入端与所述第三特征提取层(103)的输出端连接,所述第一卷积块(6)的输出端与所述中层融合模块(4)和所述深层融合模块(5)的输入端连接;

所述第二卷积块(7)的输入端与所述第四特征提取层(104)的输出端连接,所述第二卷积块(7)的输出端与所述浅层融合模块(3)、所述中层融合模块(4)和所述深层融合模块(5)的输入端连接;

所述第三卷积块(8)的输入端与所述第五特征提取层(105)的输出端连接,所述第三卷积块(8)的输出端与所述浅层融合模块(3)和所述中层融合模块(4)的输入端连接;

所述特征图像输出单元(203)包括第四卷积块(9)、第五卷积块(10)、第六卷积块(11)、第七卷积块(12)和第八卷积块(13);

所述第四卷积块(9)的输入端与所述深层融合模块(5)的输出端连接,所述第五卷积块(10)的输入端与所述中层融合模块(4)的输出端连接,所述第六卷积块(11)的输入端与所述浅层融合模块(3)的输出端连接,所述第七卷积块(12)的输入端与第六卷积块(11)的输出端连接,所述第八卷积块(13)的输入端与第七卷积块(12)的输出端连接;所述第四卷积块(9)、所述第五卷积块(10)、所述第六卷积块(11)、所述第七卷积块(12)和所述第八卷积块(13)各自用于输出一个所述输出特征图像;

所述浅层融合模块(3)包括第一SE注意力模块(301)、第一卷积注意力模块(302)和第一最大池化层(303);

所述第一SE注意力模块(301)的输入端与所述第三卷积块(8)的输出端连接,所述第一卷积注意力模块(302)与所述第一最大池化层(303)前后连接,所述第一卷积注意力模块(302)的输入端与所述第二卷积块(7)的输出端连接,所述第一SE注意力模块(301)的输出与所述第一最大池化层(303)的输出进行逐元素相乘后与所述第三卷积块(8)的输出进行逐元素相加,相加结果作为所述浅层融合模块(3)的输出;

所述中层融合模块(4)包括第二SE注意力模块(401)、第一亚像素卷积层(402)、第一卷积层(403)、第二卷积注意力模块(404)和第二最大池化层(405);

所述第二SE注意力模块(401)和所述第一亚像素卷积层(402)前后连接,所述第二SE注意力模块(401)的输入端与所述第三卷积块(8)的输出端连接,所述第一卷积层(403)的输入端与所述第二卷积块(7)的输出端连接,所述第二卷积注意力模块(404)和所述第二最大池化层(405)前后连接,所述第二卷积注意力模块(404)的输入端与所述第一卷积块(6)的输出端连接,所述第一亚像素卷积层(402)的输出、所述第一卷积层(403)的输出、所述第二卷积块(7)的输出和所述第二最大池化层(405)的输出进行逐元素相加,相加结果作为所述中层融合模块(4)的输出;

所述第一卷积注意力模块(302)和所述第二卷积注意力模块(404)均包括第一输入层(14)、通道注意力模块(15)、空间注意力模块(16)和第一输出层(17);

所述第一输入层(14)和所述通道注意力模块(15)前后连接,所述通道注意力模块(15)的输出和所述第一输入层(14)的输出进行逐元素相乘得到第一特征图,所述第一特征图输入所述空间注意力模块(16),所述空间注意力模块(16)的输出与所述第一特征图逐元素相乘后输入所述第一输出层(17);

所述深层融合模块(5)包括第二卷积层(501)、第二亚像素卷积层(502)和CE特征增强模块(503);

所述第二卷积层(501)和所述第二亚像素卷积层(502)前后连接,所述第二卷积层(501)的输入端与所述第二卷积块(7)的输出端连接,所述第一卷积块(6)的输出与所述第二亚像素卷积层(502)的输出进行逐元素相加后输入所述CE特征增强模块(503),所述CE特征增强模块(503)的输出与所述第二亚像素卷积层(502)的输出进行逐元素相加,相加结果作为所述深层融合模块(5)的输出;

所述CE特征增强模块(503)包括从前到后依次连接的第一二维卷积层(18)、第一BN层(19)、ReLU激活函数层(20)、第二二维卷积层(21)和第二BN层(22)。

2.一种基于多尺度特征融合的小目标检测方法,其特征在于,包括步骤:

A1.构建初始的基于多尺度特征融合的小目标检测模型;所述初始的基于多尺度特征融合的小目标检测模型为权利要求1所述的基于多尺度特征融合的小目标检测模型;

A2.对所述初始的基于多尺度特征融合的小目标检测模型进行训练,得到训练后的基于多尺度特征融合的小目标检测模型;

A3.把待识别图像输入所述训练后的基于多尺度特征融合的小目标检测模型,得到所述训练后的基于多尺度特征融合的小目标检测模型输出的多个输出特征图像;

A4.利用多个所述输出特征图像进行目标检测。