1.一种图像金字塔引导的遥感影像小目标检测方法,包含以下步骤:步骤1:构建骨干网络;
构建Mask R‑CNN骨干网络,采用标准ResNet网络来实现;ResNet网络包括五个级别的特征提取模块,但为了在获得深层语义信息的同时最大化保留浅层小目标的信息,取消了ResNet最后一个级别,仅采用四个级别;第一个级别利用了一次步幅为2的卷积层,得到的特征映射图为原始图像分辨率的1/2;第二级别利用了步幅为2的最大池化层,得到为原始图像1/4大小的特征映射图;第三至第四级别都采用步幅为2的卷积层来提取特征,最终输出的特征映射图为原始图像的1/16;ResNet骨干网络提取到的特征图表示为R:R={R1,R2,...,Rn} (1)其中,n表示网络的级别数;
步骤2:构建图像金字塔引导网络;
该步骤构建图像金字塔引导网络,提取图像金字塔特征信息,具体包括以下两个子步骤:
步骤2.1:构建图像金字塔;
输入图像,构建其金字塔集I:
I={I1,I2,...,In} (2)其中,n代表图像金字塔的级别数,与步骤1中ResNet骨干网络的级别数对应一致;图像金字塔集中I1的分辨率和输入的原始图像相同,为H×W,随后长宽逐级变为原来的1/2;
步骤2.2:构建特征提取模块;
图像金字塔引导网络的特征提取功能模块是为了捕获小目标等细节信息,主要从浅层网络获得;主要由以下两部分构成:
(1)首先是3个3*3的卷积级联操作,该结构在获得与7*7卷积操作相同感受野的同时,减少参数量,增强网络的非线性表达能力,防止出现过拟合;从而使得浅层卷积滤波器的细粒度特征提取能力增加;然后进行步幅为2的最大池化操作;
(2)池化操作后,每个级别提取的图像金字塔特征都需再通过残差块的操作来实现;残差块数目的设计,需考虑到Mask R‑CNN骨干网络中随着级别的增加,卷积层数目也在增多,骨干网络中第一级由3个残差块(共9个卷积层);第二级在第一级的基础上增加4个残差块(即增加12个卷积层,合计21个卷积层);第三级在第二级的基础上增加23个残差块(即增加
69个卷积层,共90个卷积层);单个残差块能提供更丰富的空间信息,但随着级别的增加,同一级别的图像金字塔特征和骨干特征的跨度越来越大,特别是ResNet101的第三级有23个残差块,将这样两个跨度如此大的特征进行融合对于优化特征提取结果而言并没有益处;
因此,本发明在提取图像金字塔特征时,随着骨干网络层级的增加,每级增加1个残差块,即第一阶段1个,第二阶段2个残差块,第三阶段3个残差块,这样缩短了两个特征间的跨度,保留了空间信息和小物体的特征;
图像金字塔引导网络提取到的图像金字塔特征映射图F:F={F1,F2,...,Fn} (3)其中,n代表图像金字塔的级别数,与骨干网络级别数保持一致;
步骤3:融合骨干与图像金字塔特征;
在步骤1、2的基础上得到骨干特征映射图R与图像金字塔特征映射图F,将图像金字塔特征信息作为附加信息,融合到骨干特征信息中去;该融合包含以下三个子步骤:步骤3.1:金字塔特征映射图上采样;
将图像金字塔特征映射图Fi进行2倍上采样,得到与骨干特征映射图Ri特征维度一致的结果F′i;
步骤3.2:骨干网络融合;
将步骤3.1得到的Fi'与骨干特征映射图Ri进行融合:其中,Conv1*1代表卷积核大小为1的卷积函数,用来改变F′i通道维数,使其与Ri通道数保持一致, 代表逐元素相加的融合操作,O′i表示融合结果;
步骤3.3:融合特征映射图生成;
将步骤3.2得到的O′i进行特征再提取:Oi=Conv3*3(O′i) (5)其中,Oi表示特征再提取结果,Conv3*3代表卷积核大小为3的卷积函数,来消除上采样造成叠加后特征不连续而造成的特征映射图失真的混叠效应,生成最终融合特征映射图O:O={O1,O2,...,On} (6)步骤4:多层次特征融合;
在步骤3得到骨干特征与图像金字塔特征融合后的多尺度特征O后,利用特征金字塔网络的侧边横向连接方式,构建一条自上而下的融合路径,将深层语义信息融合到浅层丰富的空间信息中去;但最终生成特征映射图只包含本层和更深层的特征信息,却不包含更浅层的信息,无法充分利用所有尺寸特征映射图的信息;因此,在原有自深层至浅层的连接基础上,增加一条自浅层至深层的特征融合网络结构;具体包含以下两个子步骤:步骤4.1:自深层至浅层的特征融合;
在步骤3得到骨干与图像金字塔特征融合后的多尺度特征O后,添加新的特征映射图Pn,其尺寸大小与On一致,通道维数为C;随后将Pn进行2倍上采样2↑,On‑1利用卷积核大小为1的卷积函数Conv1*1改变其通道维数,最后二者逐元素相加 融合生成新的特征映射图Pn‑1:重复上述步骤,生成多尺度特征映射图P:P={P1,P2,...,Pn} (8)步骤4.2:自浅层至深层的特征融合;
生成自深层至浅层的多尺度特征P后,添加新特征映射图N1,其尺寸大小与P1一致,通道维数为C,随后将Ni通过步幅为2的3*3卷积Conv3*3降采样为原来尺寸的一半,接着通过侧边横向连接,将其与Pi+1逐元素相加 融合生成新的特征映射图,再通过卷积核大小为3的卷积函数Conv3*3得到Ni+1:重复上述步骤,生成最终多层次特征融合映射图N:N={N1,N2,...,Nn} (10)。