1.一种基于机器视觉的海上风电安全监测与预警方法,其特征在于,包括如下步骤:
S1、获取图像:对采集的船舶图像进行预处理,并标注包含多种类别的船舶图像,建立一个包含多种类别的船舶检测数据集;
S2、建立船舶检测推理模型:以YOLOv5网络作为基准网络,分别对其主干网络、Neck结构和检测头进行改进,在主干卷积中嵌入Transformer编码器模块,全局关注目标图像特征块之间的依赖关系;将网络中标准特征融合PANet结构替换为双向特征融合BiFPN结构;增加小尺寸船舶目标检测头分支;构建出改进型YOLOv5船舶检测网络,并以步骤S1获得的数据集训练该船舶检测网络,得到船舶检测推理模型;
S3、模型识别:将需要检测与识别的船舶图片或视频流输入至步骤S2训练好的船舶检测推理模型,在输出文件或者输出视频流中得到所有船舶的类别并框出坐标位置,对影响海上风电安全的船舶进行监测与预警。
2.根据权利要求1所述的基于机器视觉的海上风电安全监测与预警方法,其特征在于,步骤S1中标注包含多种类别的船舶图像是利用LabelImg工具对收集的数据集进行标注,标注信息存储为xml格式,标注信息主要包括图片内船舶的位置坐标信息、尺寸信息和类别信息。
3.根据权利要求2所述的基于机器视觉的海上风电安全监测与预警方法,其特征在于,步骤S2中将步骤S1所有的标注文件由xml格式转换为txt格式,并对坐标进行归一化,完成后的txt文本包含目标类别、左上角坐标和右下角坐标,同时统一缩放为640*640像素尺寸,再将80%数据作为训练集,20%数据作为验证集,即可完成船舶检测网络训练前的图片处理。
4.根据权利要求3所述的基于机器视觉的海上风电安全监测与预警方法,其特征在于,步骤S2中在对改进型YOLOv5船舶检测网络进行训练时,在GPU服务器上搭建训练模型所需要的虚拟环境,完成后将训练集输入至改进型YOLOv5船舶检测网络进行目标检测模型训练,训练完成后即可得到用于复杂背景下船舶小目标检测的船舶检测推理模型。
5.根据权利要求1所述的基于机器视觉的海上风电安全监测与预警方法,其特征在于,YOLOv5检测网络主要由Backbone特征提取网络、特征融合Neck结构及Head检测头网络组成,步骤S2中对该YOLOv5检测网络的改进包括:a、在特征提取CSPDarknet53网络末端嵌入Transformer编码器模块并维持网络维度不变;
b、将Neck网络的PANET结构替换为双向特征融合BiFPN结构;
c、将Head检测头网络改进为四检测头结构,骨干网络中的160*160像素尺寸的特征图层引出一条分支,在BiFPN最高维度80*80像素尺寸的特征图进行上采样操作同样引出一条
160*160像素尺寸分支,两条分支进行合并操作后输入至Bottleneck结构整合特征图并送入1*1像素尺寸的卷积核进行输出;
将修改后的各结构和模块按照原YOLOv5网络形式顺序堆叠,得到改进型YOLOv5网络。