1.一种基于深度学习的深海矿物识别方法,其特征在于,包括如下步骤:
(1)采集数据,准备水下勘探AUV小车,在小车的四个角分别安装一个水下摄像机,负责拍摄水下矿物分布的视频;同时在AUV小车内部搭载北斗卫星定位系统和长基线定位传感器,用于记录矿物分布的地理位置坐标,在每个水下摄像机的上方都安装照明设备;
(2)处理数据,对采集的水下矿物分布的视频数据按一帧的时间长度读取,生成的图片数量少于3000张、大于500张,并从图片中筛选出和矿物分布有关的图片,作为训练所用的数据集;用标注工具labelme标注海底矿物的外边框,作为识别矿物分布的检测框,对每个标注的检测框都添加类别标签;把数据集划分为训练集,测试集和验证集,所划分的训练集,测试集和验证集是相互独立的,不能有重复的图片;
(3)深度学习训练,把训练集的图片放入深度学习网络模型中进行训练,深度学习网络模型采用yolov8网络模型进行训练,设置训练的迭代次数,训练结束会输出损失函数变化图和训练精度变化图;当输出损失函数和训练精度的曲线收敛,说明训练的结果稳定,结束训练,获得训练后的深度学习网络模型;
(4)深度学习验证,把验证集的图片放入训练后的深度学习网络模型中进行验证,计算平均精度均值mAP、平均精度AP、每秒传输帧数FPS、准确率P和召回率R,当平均精度均值mAP大于0.9,平均精度AP大于0.9,每秒传输帧数FPS大于120,准确率P大于0.8,召回率R大于
0.8时,表明深度学习网络模型验证合格;
当平均精度均值mAP小于0.9,平均精度AP小于0.9,每秒传输帧数FPS小于120,准确率P小于0.8,召回率R小于0.8时,返回步骤(3),增加训练的迭代次数,再进行深度学习训练,得到迭代后的深度学习训练模型,直至验证合格;
(5)将验证集的图片输出成热力图形式,采用GradCam方法产生的激活类热力图;首先在深度学习网络模型中,验证集的图片和生成热力图的程序放在同一路径下;然后在深度学习网络模型中,设置权重文件的路径和GradCam方法的参数;最后输出矿物分布的热力图形式;
(6)采矿车作业,根据步骤(1)北斗卫星定位系统中存储的矿物地理位置坐标,确定矿物分布区间;通过北斗卫星定位系统,在给定区间的中心点投放采矿车;通过无线传输控制采矿车作业,输出热力图引导采矿车到达矿物分布区域。
2.根据权利要求1所述的一种基于深度学习的深海矿物识别方法,其特征在于:所述步骤(2)中图片筛选标准为:矿物超过3块的图片保留,少于3块矿物的图片剔除,图片分辨率高于640*640的保留。
3.根据权利要求2所述的一种基于深度学习的深海矿物识别方法,其特征在于:所述步骤(3)中采用的损失函数是交叉熵损失函数,交叉熵损失函数的公式如下:其中x表示样本,∑表示在样本x上求和,y表示标签,a表示预测的输出,Ina表示以e为底数、以a为真数的对数值,n表示样本总量,C表示交叉熵损失函数值。
4.根据权利要求3所述的一种基于深度学习的深海矿物识别方法,其特征在于:所述步骤(4)中平均精度均值mAP表示所有类别目标识别精度的均值,计算公式为:平均精度AP表示某一类别目标识别的精度,计算公式为:
P表示准确率,dr表示P对r的微分, 表示r的取值范围是0到1;
准确率P:表示预测为正样本的样本中真正为正样本的比例,计算公式为:
P=TP/(TP+FP)
召回率R:表示真正的正样本中被识别出来的比例,计算公式为:
R=TP/(TP+FN)
其中TP表示真正的正样本数量,FP表示误判为正样本的负样本数量,FN表示未识别到的正样本数量;
每秒传输帧数FPS是用来评估目标识别的速度,即每秒内可以处理的图片数量或者处理一张图片所需时间,计算公式为:time(pre‑process+inference+NMS)表示yolov8网络模型的识别时间,yolov8网络模型的识别时间分为三个部分,图像预处理pre‑process、推理inference、非极大值抑制处理NMS。
5.根据权利要求4所述的一种基于深度学习的深海矿物识别方法,其特征在于:所述步骤(5)中GradCam方法是基于梯度的激活类热力图,计算过程如下:首先计算c类别的的模型得分对于某个卷积层的梯度,同时在对于上述过程得到的梯度信息,在每个通道维度上对各像素值取平均,得到神经元重要性权重,计算公式为:c
其中Z代表特征图的像素个数,Aij代表第k个特征图的i,j位置的像素值,y表示c类别c的模型得分, 表示c类别模型的第k个特征图的神经元重要性权重, 表示y 对 偏导数;
然后,利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权;最后,加权后输出的粗糙热力图经过ReLU(激活函数)操作得到热力图,计算公式为:k
其中A表示第k个特征图的像素值,ReLU表示一种激活函数。
6.一种基于深度学习的深海矿物识别系统,其特征在于,包括:
采集数据模块,用于拍摄水下矿物分布的视频并记录矿物分布的地理位置坐标;
处理数据模块,用于对采集的水下矿物分布的视频数据按一帧的时间长度读取,生成的图片数量少于3000张、大于500张,并从图片中筛选出和矿物分布有关的图片,作为训练所用的数据集;用标注工具labelme标注海底矿物的外边框,作为识别矿物分布的检测框,对每个标注的检测框都添加类别标签;把数据集划分为训练集,测试集和验证集,所划分的训练集,测试集和验证集是相互独立的,不能有重复的图片;
深度学习训练模块,用于把训练集的图片放入深度学习网络模型中进行训练,深度学习网络模型采用yolov8网络模型进行训练,设置训练的迭代次数,训练结束会输出损失函数变化图和训练精度变化图;当输出损失函数和训练精度的曲线收敛,说明训练的结果稳定,结束训练,获得训练后的深度学习网络模型;
深度学习验证模块,用于把验证集的图片放入训练后的深度学习网络模型中进行验证,计算平均精度均值mAP、平均精度AP、每秒传输帧数FPS、准确率P和召回率R,当平均精度均值mAP大于0.9,平均精度AP大于0.9,每秒传输帧数FPS大于120,准确率P大于0.8,召回率R大于0.8时,表明深度学习网络模型验证合格;
当平均精度均值mAP小于0.9,平均精度AP小于0.9,每秒传输帧数FPS小于120,准确率P小于0.8,召回率R小于0.8时,返回步骤(3),增加训练的迭代次数,再进行深度学习训练,得到迭代后的深度学习训练模型,直至验证合格;
输出热力图模块,用于将验证集的图片输出成热力图形式,采用GradCam方法产生的激活类热力图;首先在深度学习网络模型中,验证集的图片和生成热力图的程序放在同一路径下;然后在深度学习网络模型中,设置权重文件的路径和GradCam方法的参数;最后输出矿物分布的热力图形式;
采矿作业模块,用于根据存储的矿物地理位置坐标,确定矿物分布区间;通过北斗卫星定位系统,在给定区间的中心点投放采矿车;通过无线传输控制采矿车作业,输出热力图引导采矿车到达矿物分布区域。
7.根据权利要求6所述的一种基于深度学习的深海矿物识别系统,其特征在于:所述处理数据模块中图片筛选标准为:矿物超过3块的图片保留,少于3块矿物的图片剔除,图片分辨率高于640*640的保留。
8.根据权利要求7所述的一种基于深度学习的深海矿物识别系统,其特征在于:所述深度学习训练模块中采用的损失函数是交叉熵损失函数,交叉熵损失函数的公式如下:其中x表示样本,∑表示在样本x上求和,y表示标签,a表示预测的输出,Ina表示以e为底数、以a为真数的对数值,n表示样本总量,C表示交叉熵损失函数值。
9.根据权利要求8所述的一种基于深度学习的深海矿物识别系统,其特征在于:所述深度学习验证模块中平均精度均值mAP表示所有类别目标识别精度的均值,计算公式为:平均精度AP表示某一类别目标识别的精度,计算公式为:
P表示准确率,dr表示P对r的微分, 表示r的取值范围是0到1;
准确率P:表示预测为正样本的样本中真正为正样本的比例,计算公式为:
P=TP/(TP+FP)
召回率R:表示真正的正样本中被识别出来的比例,计算公式为:
R=TP/(TP+FN)
其中TP表示真正的正样本数量,FP表示误判为正样本的负样本数量,FN表示未识别到的正样本数量;
每秒传输帧数FPS是用来评估目标识别的速度,即每秒内可以处理的图片数量或者处理一张图片所需时间,计算公式为:time(pre‑process+inference+NMS)表示yolov8网络模型的识别时间,yolov8网络模型的识别时间分为三个部分,图像预处理pre‑process、推理inference、非极大值抑制处理NMS。
10.根据权利要求9所述的一种基于深度学习的深海矿物识别系统,其特征在于:所述输出热力图模块中GradCam方法是基于梯度的激活类热力图,计算过程如下:首先计算c类别的的模型得分对于某个卷积层的梯度,同时在对于上述过程得到的梯度信息,在每个通道维度上对各像素值取平均,得到神经元重要性权重,计算公式为:c
其中Z代表特征图的像素个数,Aij代表第k个特征图的i,j位置的像素值,y表示c类别c的模型得分, 表示c类别模型的第k个特征图的神经元重要性权重, 表示y 对 偏导数;
然后,利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权;最后,加权后输出的粗糙热力图经过ReLU(激活函数)操作得到热力图,计算公式为:k
其中A表示第k个特征图的像素值,ReLU表示一种激活函数。