1.基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,具体步骤如下:
S1、获取遥感数据集;
S2、对数据集中的图像进行切割处理,将图像划分为训练集、验证集和测试集;
S3、设置输入图像的尺寸、训练次数和检测对象的类别参数;
S4具体如下:
S4.1、在动态卷积中融入了三个维度的注意机制,包括卷积的尺寸、卷积的输入通道数和输出通道数,构成一个多维度的动态卷积,同时利用残差网络Res2Net与C3模块融合构成新的C3‑Res2Net模块,将该模块与多维动态卷积网络结合,得到OD‑Res2Net主干网络;
S4.2、构建一个具有多尺度的感受野增强模块,在不同大小的卷积层中,分别使用三种尺度的空洞卷积层分支,通过普通卷积与空洞卷积的结合,每个分支的感受野都得到了的提升,再将各个分支叠加在一起,以表达多尺度的感受野融合效果;
S4.3、设计一个轻量级的上采样算子进行采样操作,主要分为上采样预测模块和特征重组模块;给定一个输入特征图,首先利用上采样预测模块预测上采样核,后利用特征重组模块完成上采样;
S5、将步骤S2所得图像添加至步骤S4所得的ODC‑YOLO网络模型中,运用训练集和验证集标记好的图片进行训练,训练过程中,将测试集内划分好的图片进行测试,获得每一个阶段训练的效果。
2.如权利要求1所述基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,步骤S1中,采用DOTA数据集,图像来源于不同地区、不同时相阶段。
3.如权利要求1所述基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,步骤S2中,切割通过滑动窗口实现,将每个图像中小影像的大小设置固定像素大小,切割从图像左上角开始;将切割后的数据集和对应的标签按照8:1:1分为训练集、验证集和测试集。
4.如权利要求1所述基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,步骤S4.1中,将多维动态卷积引入主干网络,多维动态卷积根据注意力机制动态聚合多个并行卷积核,这些卷积核对每个单独输入数据x通过输入相同注意力来聚合偏差;多维动态卷积的公式如下所示:y=(αw1⊙αf1⊙αc1⊙αs1⊙W1+...+αwn⊙αfn⊙αcn⊙αsn⊙Wn)*xk*k
x表示输入,y则是输出;αwi∈R为卷积维度Wi的注意力系数矩阵,αsi∈R 、 和αfiout∈R 分别表示沿着卷积核Wi中的空间维度、输入通道维度、输出通道维度上的动态卷积注意力系数矩阵,⊙表示沿着核空间的不同维度的乘法运算,i的取值范围在1‑n;注意力乘以卷积核Wi的过程具体如下:先通过全局平均池化GAP将输入x压缩为长度为Cin的特征向量;后通过一个全连接层FC和四个分支,全连接层之后经过ReLU激活函数修正线性单元;全连接层FC将压缩后的特征向量映射到低维空间,对于四个分支,都有输出尺寸为k*k、Cin*1、Cout*1和n*1的全连接层FC,并使用Sigmoid和SoftMax函数来生成归一化的注意力asi、aci、afi、awi;其中,Cin表示输入通道数,Cout表示输出通道数;
在多维动态卷积中,对于卷积核Wi:(1)asi将不同的注意力标量分配给k*k空间位置处m的卷积参数;(2)aci为每个卷积滤波器Wi的Cin通道分配不同的注意力标量;(3)afi为Cout卷积滤波器分配不同的注意力标量;(4)awi为整个卷积分配注意力标量;
在多维动态卷积的基础上,将Res2Net网络与C3模块融合构成新的C3‑Res2Net模块,Res2Net通过一系列通道划分、分组卷积、块间融合、通道拼接操作实现特征融合,具体过程如下式所示:其中,输入特征经过通道划分为s块特征图,xi表示第i块特征图,Ki表示融合第i块特征图的卷积层,yi表示融合xi之后获得的特征图,yi‑1表示融合xi‑1之后获得的特征图。
5.如权利要求1所述基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,步骤S4.3中,轻量级的上采样算子主要分为两个模块,分别是上采样核预测模块和特征重组模块;两个模块的表达式如下所示:χ′l′=φ(N(χl,kup),wl')
上采样核预测模块 根据以目标位置l为中心的输入特征χl的邻近位置,为每个位置预测一个重组内核wl',其中N(χl,kencoder)表示输入特征χl的kencoder*kencoder的子区域,特征重组模块φ在输入特征χl中取出kup*kup的子区域N(χl,kup),其中kup*kup表示子区域的尺寸大小,然后与上一步中的重组内核wl'做点积,得到重组后的以目标位置l'为中心的输入特征χ′l';
上采样核预测模块负责以内容感知的方式生成重组内核,给定一个尺寸为C*H*W的输
2
入特征χ,χ上的每个源位置对应于χ'的δ个目标位置;每个目标位置都需要一个的重组内核,其中kup表示重组内核的大小,因此该模块将输出大小为 的重组内核;对于形状为C*H*W的输入特征图,首先使用一个1*1的卷积将通道数压缩到Cm,减少计算量;假设上采样核尺寸为kup*kup,如果对每个输出特征图的每个位置使用不同的上采样核,需要预测的上采样核形状为δH*δW*kup*kup;对于压缩后的输入特征图,使用一个kencoder*kencoder的卷积层来预测上采样核,输入通道数为Cm,输出通道数为 然后将通道在空间维度展开,得到尺寸为 的上采样核,该上采样核用于特征重组模块;
对于每个重组内核wl',特征重组模块将通过函数φ对局部区域内的特征进行重组,上采样核预测模块中对于输出特征图中的每个位置,将其映射回输入特征图,取出以kup*kup为中心的子区域,和预测出的该点的上采样核作点积,得到输出值,其中相同位置的不同通道共享同一个上采样核。
6.如权利要求1所述基于ODC‑YOLO网络的遥感图像目标检测方法,其特征在于,在步骤S5后进行步骤S6:模型在训练结束后会生成相应的权重文件,导入训练好的权重与待检测的图片和对应的标签,得到检测之后的数据与图片,分析比较识别效果和检测精度。
7.基于ODC‑YOLO网络的遥感图像目标检测系统,其基于权利要求1‑6任一项所述的方法,其特征在于,包括如下模块:数据获取模块:用于获取遥感数据集;
数据预处理模块:对数据集中的图像进行切割处理,将图像划分为训练集、验证集和测试集;
网络模型配置模块:设置输入图像的尺寸、训练次数和检测对象的类别参数;
YOLOv5网络结构设置模块:
在动态卷积中融入了三个维度的注意机制,包括卷积的尺寸、卷积的输入通道数和输出通道数,构成一个多维度的动态卷积,同时利用残差网络Res2Net与C3模块融合构成新的C3‑Res2Net模块,将该模块与多维动态卷积网络结合,得到OD‑Res2Net主干网络;
构建一个具有多尺度的感受野增强模块,在不同大小的卷积层中,分别使用三种尺度的空洞卷积层分支,通过普通卷积与空洞卷积的结合,每个分支的感受野都得到了的提升,再将各个分支叠加在一起,以表达多尺度的感受野融合效果;
设计一个轻量级的上采样算子进行采样操作,主要分为上采样预测模块和特征重组模块;给定一个输入特征图,首先利用上采样预测模块预测上采样核,后利用特征重组模块完成上采样;
网络模型训练模块:将图像添加至ODC‑YOLO网络模型中,运用训练集和验证集标记好的图片进行训练,训练过程中,将测试集内划分好的图片进行测试,获得每一个阶段训练的效果。