1.面向水下机器人的海生物定位测量方法,其特征在于,基于单目视觉实现,包括:
S1:制作数据集:拍摄水下海生物图像,制作海生物数据集,具体的,拍摄不同间距的激光图像,制作激光数据集,对原始数据集中的海生物和激光进行标注生成标注文件;
S2:搭建网络结构:采用MobileNet V1特征提取网络,采用2个尺度检测海生物和平行光:尺度为7×10×27的输出张量及尺度为14×20×27的输出张量;
S3:训练检测网络:先以0.001的学习率训练50轮,再以0.0005的学习率训练150轮,得到.h5模型文件;
S4:转换模型:通过人工智能学习系统TensorFlow的tflite_convert命令将.h5模型文件转化为.tflite模型文件,通过模型转换工具nncase将.tflite模型文件转化为.kmodel模型文件;
S5:将.kmodel模型文件部署到K210 AI芯片端:先将系统内部和外部硬件初始化,然后加载.kmodel模型文件,初始化目标检测层配置;
S6:调整激光器的位置,用两个激光器发射两束一字线状激光,保证两束激光线平行,两束平行激光线间的实际距离已知;根据摄像头采集图像中两条平行激光线间的像素距离,结合两束平行激光线间的实际距离,建立参考系,从而推算出海生物的实际尺寸信息和深度信息;
步骤S5中,所述摄像头采集完成一帧图像后触发中断,传入摄像头采集的图像到神经网络处理器KPU运行.kmodel模型文件,等待KPU处理完成后,获取KPU最终处理的结果,把KPU处理的结果带入区域层计算最终位置,得到目标的中心点坐标与目标回归框的宽和高,在输入图像中找到平行激光和海生物的外接矩形框。
2.根据权利要求1所述的面向水下机器人的海生物定位测量方法,其特征在于,步骤S1中,将一对平行激光当作一个检测目标进行标注,在相机拍摄的图像中,两条平行激光线与图像的上下边界构成一个矩形框,标注时,将两条平行激光线与图像的上下边界构成的矩形框作为一个目标进行标注。
3.根据权利要求1所述的面向水下机器人的海生物定位测量方法,其特征在于,设定所述目标回归框像素坐标为(bx,by,bw,bh),(bx,by)表示目标回归框的中心点坐标,bw和bh分别表示目标回归框的宽和高;则图像中目标回归框的左上角的像素坐标为目标回归框的右下角的像素坐标为
4.根据权利要求1所述的面向水下机器人的海生物定位测量方法,其特征在于,所述步骤S6包括以下步骤:S6.1:海生物尺寸测量:以图像左上角为坐标原点,水平向右为x轴正方向,水平向下为y轴正方向,建立平面直角坐标系,其中(xB1,yB1)为海生物目标回归框左上角坐标,(xB2,yB2)为海生物目标回归框右下角坐标,w1为海生物目标回归框宽度,h1为海生物目标回归框高度,用海生物目标回归框对角线长度S代表海生物大小,xA2为激光框右下角横坐标,xA1为激光框左上角横坐标,h为第一激光线与第二激光线间的像素距离;在进行海生物尺寸测量前,调整第一激光器与第二激光器使第一激光线与第二激光线平行,并测量第一激光线与第二激光线间的实际距离H;其中,h=xA2‑xA1,w1=xB2‑xB1,h1=yB2‑yB1,设海生物实际大小为S,则S6.2:计算海生物深度信息:先固定镜头平面与物体所在平面,计算摄像头的焦距f,其中, 再利用摄像头的焦距f求出镜头平面与物体所在平面间的垂直距离D,D为被检测物体的深度信息,根据姿态传感器的数据调整水下机器人的位姿来保证镜头平面和物体所在平面的平行。
5.根据权利要求1所述的面向水下机器人的海生物定位测量方法,其特征在于,海生物识别的步骤如下:L1:水下捕捞机器人通过OV2640摄像头实时采集水下海生物图像;
L2:加载模型和权重参数,将本地训练好的YOLOv3‑MobileNet检测模型和权重参数加载到K210芯片内;
L3:对待检测图像进行特征提取,提取与海生物相似的特征;
L4:根据所提取的海生物特征进一步完成海生物的类别、置信度及位置预测;
L5:根据L4的预测结果,判断该图像中是否含有目标,若含有目标则将目标的位置信息通过串口发送给主控制器,主控制器控制推进器进而控制机器人对海生物进行抓捕。
6.面向水下机器人的海生物定位测量装置,其特征在于,用于实现如权利要求1‑5任一项所述海生物定位测量方法,所述海生物定位测量装置包括视觉处理器、控制器、图像传感器、姿态传感器、第一激光器、第二激光器、固定支架和密封舱;
所述密封舱包括密封舱体、密封舱盖和密封圈;所述密封舱盖盖合在密封舱体上,通过密封圈密封;
所述固定支架安装在密封舱体内,用于固定图像传感器、姿态传感器、第一激光器和第二激光器;所述第一激光器和第二激光器的光斑形状为一字线;所述图像传感器和姿态传感器均用胶粘在固定支架上;所述视觉处理器与图像传感器通过DVP接口连接,所述控制器与姿态传感器通过I2C接口连接,所述视觉处理器与控制器通过串口连接。
7.根据权利要求6所述的面向水下机器人的海生物定位测量装置,其特征在于,所述图像传感器用于采集图像;所述视觉处理器计算被检测海生物的尺寸和坐标,将大于预先设定尺寸的海生物的坐标通过串口发送给控制器;所述控制器根据海生物的坐标改变6路PWM占空比,从而控制6路电机转速,最终控制水下机器人的移动,实现对海生物的吸取。
8.根据权利要求6所述的面向水下机器人的海生物定位测量装置,其特征在于,所述视觉处理器采用K210视觉处理器,所述控制器采用STM32F1控制器,所述图像传感器采用型号为OV2640 CMOS的图像传感器,所述姿态传感器采用型号为MPU6050的姿态传感器。