利索能及
我要发布
收藏
专利号: 2023102575996
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:按如下步骤A至步骤C,获得用于识别海面上舰船、冰山的目标检测分类模型;进而应用目标检测分类模型,针对目标海面区域,实现关于舰船、冰山的检测分类;

步骤A. 构建预设数量包含冰山目标标签、舰船目标标签的各幅海面区域SAR图像样本,然后进入步骤B;

步骤B. 根据图像特征提取网络、特征融合网络、以及回归分类器,构建目标检测分类深度神经网络,然后进入步骤C;

步骤C. 基于各幅海面区域SAR图像样本,以海面区域SAR图像样本为输入,海面区域SAR图像样本中冰山目标标签、舰船目标标签、或者无冰山与舰船目标标签为输出,针对目标检测分类深度神经网络进行训练,获得目标检测分类模型;

步骤B中,根据图像特征提取网络Darknet53、特征融合网络FPN、以及回归分类器Yolo Head,构建目标检测分类深度神经网络;其中,图像特征提取网络Darknet53的输入端构成目标检测分类深度神经网络的输入端,图像特征提取网络Darknet53自其输入端起依次串联Input(640,640,3)层、Conv2BLR(32,2,1,1)层、Conv2(64,3,2,1)层、Resb1残差块、Conv2(128,3,2,1)层、Resb2残差组、Conv2(256,3,2,1)层、Resb3残差组、Conv2(512,3,2,1)、Resb4残差组、Conv2(1024,3,2,1)层、Resb5残差组;

Resb1残差块自其输入端起依次串联Conv2BLR(32,1,1,0)层、Conv2BLR(32,2,1,1)层;

Resb2残差组自其输入端起依次串联结构相同的2个Resb2残差块,Resb2残差块自其输入端起依次串联Conv2BLR(64,1,1,0)层、Conv2BLR(128,3,1,1)层;

Resb3残差组自其输入端起依次串联结构相同的8个Resb3残差块,Resb3残差块自其输入端起依次串联Conv2BLR(128,1,1,0)层、Conv2BLR(256,3,1,1)层;

Resb4残差组自其输入端起依次串联结构相同的8个Resb4残差块,Resb4残差块自其输入端起依次串联Conv2BLR(256,1,1,0)层、Conv2BLR(512,3,1,1)层;

Resb5残差组自其输入端起依次串联结构相同的4个Resb4残差块,Resb5残差块自其输入端起依次串联Conv2BLR(512,1,1,0)层、Conv2BLR(1024,3,1,1)层;

Input(m, m,c)为输入层,Conv2(c,k,s,p)层为二维卷积层,Conv2BLR(c,k,s,p)层为Conv2层加批归一化层加带泄露修正线性激活函数层,m表示图像数据像素尺寸大小,c为通道数,k表示核尺寸大小,s表示步行数,p为填充数;

Resb3残差组中顺序最后一个Resb3残差块的输出端、Resb4残差组中顺序最后一个Resb4残差块的输出端、Resb5残差组中顺序最后一个Resb5残差块的输出端构成图像特征提取网络Darknet53的各个输出端,图像特征提取网络Darknet53的各输出端对接特征融合网络FPN的输入端,特征融合网络FPN的输出端对接回归分类器Yolo Head的输入端,回归分类器Yolo Head的输出端构成目标检测分类深度神经网络的输出端;

特征融合网络FPN按数据流向包括依次串联的第一Conv2BLR组、Conv2BLR(256,1,1,1)层、UpSample2D(2)层、第二Conv2BLR组、Conv2BLR(128,1,1,1)层、UpSample2D(2)层、第三Conv2BLR组;UpSample2D(n)为二维上采样层,n为上采样倍数;

其中,第一Conv2BLR组按数据流向包括依次串联的Conv2BLR(512,1,1,1)层、Conv2BLR(1024,3,1,1)层、Conv2BLR(512,1,1,1)层、Conv2BLR(1024,3,1,1)层、Conv2BLR(512,1,1,

1)层;第二Conv2BLR组按数据流向包括依次串联的Conv2BLR(256,1,1,1)层、Conv2BLR(512,3,1,1)层、Conv2BLR(256,1,1,1)层、Conv2BLR(512,3,1,1)层、Conv2BLR(256,1,1,1)层;第三Conv2BLR组按数据流向包括依次串联的Conv2BLR(128,1,1,1)层、Conv2BLR(256,

3,1,1)层、Conv2BLR(128,1,1,1)层、Conv2BLR(256,3,1,1)层、Conv2BLR(128,3,1,1)层;

第一Conv2BLR组中顺序第一个Conv2BLR(512,1,1,1)层的输入端、第二Conv2BLR组中顺序第一个Conv2BLR(256,1,1,1)层的输入端、第三Conv2BLR组中顺序第一个Conv2BLR(128,1,1,1)层的输入端构成特征融合网络FPN的各个输入端;第一Conv2BLR组中顺序最后一个Conv2BLR(512,1,1,1)层的输出端、第二Conv2BLR组中顺序最后一个Conv2BLR(256,1,

1,1)层的输出端、第三Conv2BLR组中顺序最后一个Conv2BLR(128,1,1,1)层的输出端构成特征融合网络FPN的各个输出端;

特征融合网络FPN中第一Conv2BLR组中顺序第一个Conv2BLR(512,1,1,1)层输入端对接图像特征提取网络Darknet53中Resb5残差组中顺序最后一个Resb5残差块输出端;特征融合网络FPN中第二Conv2BLR组中顺序第一个Conv2BLR(256,1,1,1)层输入端对接图像特征提取网络Darknet53中Resb4残差组中顺序最后一个Resb4残差块输出端;特征融合网络FPN中第三Conv2BLR组中顺序第一个Conv2BLR(128,1,1,1)层输入端对接图像特征提取网络Darknet53中Resb3残差组中顺序最后一个Resb3残差块输出端;

特征融合网络FPN的各个输出端对接回归分类器Yolo Head的输入端;

回归分类器Yolo Head包括Yolo head1组、Yolo head2组、Yolo head3组,其中,Yolo head1组自其输入端依次串联Conv2BLR(256,3,1,1)层、Conv2(255,1,1,1)层、Output(80,

80,255)层;Yolo head2组自其输入端依次串联Conv2BLR(512,3,1,1)层、Conv2(255,1,1,

1)层、Output(40,40,255)层;Yolo head3组自其输入端依次串联Conv2BLR(1024,3,1,1)层、Conv2(255,1,1,1)层、Output(20,20,255)层;Output(m, m, c)为输出层;

Yolo head1组的输入端、Yolo head2组的输入端、Yolo head3组的输入端构成回归分类器Yolo Head的各个输入端;特征融合网络FPN中第一Conv2BLR组中顺序最后一个Conv2BLR(512,1,1,1)层输出端对接Yolo head3组的输入端;特征融合网络FPN中第二Conv2BLR组中顺序最后一个Conv2BLR(256,1,1,1)层输出端对接Yolo head2组的输入端;

特征融合网络FPN中第三Conv2BLR组中顺序最后一个Conv2BLR(128,1,1,1)层输出端对接Yolo head1组的输入端;

Yolo head1组中Output(80,80,255)层的输出端、Yolo head2组中Output(40,40,255)层的输出端、Yolo head3组中Output(20,20,255)层的输出端构成回归分类器Yolo Head的各个输出端。

2.根据权利要求1所述一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:还包括如下步骤i,实现对所述目标检测分类模型的精度评估;

步骤i. 按如下公式,获得目标检测分类模型所对应的 分数,用于对目标检测分类模型的精度进行评估;

 ;

其中, 为查准率即预测为正例的样本中真正例的比例, 为查全率即预测为正例的真正例占所有正例的比例; 为真正例,即预测正确,样本为正; 为假正例,即预测错误,样本被预测为正,但样本实际为负; 为假反例,即预测错误,样本被预测为负,但样本实际为正。

3.根据权利要求1所述一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:所述步骤A包括步骤A1至步骤A3;

步骤A1. 基于哨兵1卫星的不同波段,应用哨兵1A卫星捕获包含预设第一数量冰山目标标签的海面区域的水平极化SAR图像,以及应用哨兵1B卫星捕获包含预设第二数量冰山目标标签的海面区域的水平极化SAR图像与水平垂直交叉极化SAR图像;

同时基于哨兵1卫星的不同波段,应用哨兵1A卫星捕获包含预设第三数量舰船目标标签的海面区域的垂直水平交叉极化SAR图像,以及应用哨兵1B卫星捕获包含预设第四数量舰船目标标签的海面区域的垂直水平交叉极化SAR图像与垂直极化SAR图像;然后进入步骤A2;

步骤A2. 将包含冰山目标标签的各幅水平极化SAR图像与包含舰船目标标签的各幅垂直水平交叉极化SAR图像进行融合,获得R通道SAR图像;

将包含冰山目标标签的水平垂直交叉极化SAR图像与包含舰船目标标签的垂直极化SAR图像进行融合,获得G通道SAR图像;

将包含冰山目标标签的各幅水平极化SAR图像与包含舰船目标标签的垂直极化SAR图像进行融合,获得B通道SAR图像;

进而获得RGB通道SAR图像,然后进入步骤A3;

步骤A3. 按预设网格尺寸,针对RGB通道SAR图像进行网格化划分,获得各个RGB通道SAR图像块,即获得预设数量包含冰山目标标签、舰船目标标签的各幅海面区域SAR图像样本。

4.根据权利要求3所述一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:按如下操作,应用目标检测分类模型,针对目标海面区域,实现关于舰船、冰山的检测分类;

操作:首先基于哨兵1卫星的不同波段,应用哨兵1A卫星捕获目标海面区域的水平极化SAR图像、以及水平垂直交叉极化SAR图像;同时基于哨兵1卫星的不同波段,应用哨兵1B卫星捕获目标海面区域的垂直水平交叉极化SAR图像、以及垂直极化SAR图像;

然后将水平极化SAR图像与垂直水平交叉极化SAR图像进行融合,获得R通道SAR图像;

将水平垂直交叉极化SAR图像与垂直极化SAR图像进行融合,获得G通道SAR图像;将水平极化SAR图像与垂直极化SAR图像进行融合,获得B通道SAR图像;进而获得目标海面区域对应的RGB通道SAR图像;

最后针对目标海面区域对应的RGB通道SAR图像,应用目标检测分类模型,实现关于舰船、冰山的检测分类。

5.根据权利要求1所述一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:所述步骤C针对目标检测分类深度神经网络进行训练的过程中,应用K‑means聚类算法进行迭代求解,并使用Adam梯度优化算法对网络训练进行优化。

6.根据权利要求5所述一种基于深度神经网络的SAR图像舰船冰山检测分类方法,其特征在于:所述步骤C针对网络训练进行优化过程中使用如下二进制交叉熵作为损失函数;

式中, 为每轮次训练的损失值, 表示以e为底的对数, 表示求和, 为训练数据集样本数, 为训练数据集第 个样本为冰山的概率, 为训练数据集第 个样本为冰山的标注值, 。