1.一种基于三维信息估算的激光驱鸟方法,其特征是,在可移动平台上设置云台,所述云台上设置双目相机和激光器,所述双目相机包括左目相机和右目相机,包括:a、采集设定环境内的左目图像和右目图像;
b、基于Fast R‑CNN检测左目图像中是否存在鸟类目标,获取左目图像中的鸟类目标的位置信息;
c、根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息;
d、根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值,并根据鸟类目标的视差值获取该鸟类目标的三维位置信息;
e、根据鸟类目标的三维位置信息调整激光器的方位并发射激光进行驱鸟;
所述步骤b具体包括:
b1、基于Fast R‑CNN构建鸟类目标检测模型,具体包括:b11、获取鸟类图片集作为训练集,并对训练集设定标签;
b12、对训练集进行候选目标的提取;其中候选目标的提取采用选择性搜索方法;
b13、选定VGG16网络结构,利用VOC数据集进行预训练,得到预训练模型;
b14、将训练集对应的标签以及提取的候选目标作为输入,通过Fast R‑CNN对预训练模型进行二次训练,得到最终的鸟类目标检测模型;
b2、将采集的左目图像作为输入,通过构建的鸟类目标检测模型检测左目图像中是否存在鸟类目标,获取左目图像中的鸟类目标的位置信息,并使用矩形框标识左目图像中的鸟类目标;
所述步骤c具体包括:
c1、根据左目图像中的鸟类目标的位置信息确定该鸟类目标在右目图像中的搜索区域;
c2、基于标识鸟类目标的矩形框尺寸构建滑动窗,滑动窗在右目图像中的搜索区域中滑动;
c3、计算滑动窗所在区域的右目图像与左目图像中鸟类目标矩形框的差异度s(i,v1),其计算公式具体如下:
其中,T(m,n)表示左目图像中驱逐目标矩形框中各点的像素值,m表示矩形框的宽,n表示矩形框的高,I(i+m,v1+n)表示右目图像中从坐标(i,v1)到(i+m,v1+n)像素区域的像素值;
滑动窗遍历整个搜索区域,获取右目图像中差异度最小的像素原点坐标(umin,vmin),则匹配出的右目图像中驱逐目标的位置为[(umin,vmin),(umin+m,vmin+n)],其中vmin=v1。
2.根据权利要求1所述的基于三维信息估算的激光驱鸟方法,其特征是,所述可移动平台包括无人机和地面可移动机器人。
3.根据权利要求1所述的基于三维信息估算的激光驱鸟方法,其特征是,所述激光器设置在所述左目相机和右目相机之间,且激光器的中心、左目相机的中心和右目相机的中心位于同一水平线上。
4.根据权利要求1所述的基于三维信息估算的激光驱鸟方法,其特征是,所述VGG16采用softmax分类器做训练,激活函数使用线性整流函数,采用批量标准化对权重参数和偏置参数进行迭代训练,设置权重衰减速率weight_decay为0.0001,批量标准化的衰减速率为
0.997,池化层采用最大池化方式,同时将最大池化的Padding的模式设为SAME。
5.根据权利要求4所述的基于三维信息估算的激光驱鸟方法,其特征是,所述矩形框的位置为[(u1,v1),(u1+m,v1+n)],尺寸为m*n;其中,u1表示矩形框左上角点的横坐标,v1表示矩形框左上角点的纵坐标,m表示矩形框的长,n表示矩形框的宽。
6.根据权利要求1所述的基于三维信息估算的激光驱鸟方法,其特征是,所述步骤d具体包括:
d1、在左目与右目图像中驱逐目标矩形框中选取九组对应点;
左目图像中九点坐标分别为
右目图像中九点坐标分别为
按顺序分别记为(xRi,yRi)和(xLi,yLi),i=1,2,…,9;
d2、计算每组对应点的视差值disparityi=xRi‑xLi;
d3、分别计算九组对应点的实际三维坐标,计算公式为:其中,disparityi表示鸟类目标的视差值,B表示相机标定得到的基距,f表示相机标定得到的相机焦距;
d4、距离相机的候选实际距离di,计算公式为:计算出的九个候选实际距离di中,选择出现概率最高的距离作为实际距离ds,对应的三维坐标为(xs,ys,zs)。
7.根据权利要求6所述的基于三维信息估算的激光驱鸟方法,其特征是,所述步骤e具体为:
e1、根据鸟类目标的三维位置信息计算激光器所需转动的角度,水平转动角度为:
垂直转动角度为:
e2、根据计算所得的水平转动角度和垂直转动角度调整激光器的方位并发射激光进行驱鸟。
8.一种基于三维信息估算的激光驱鸟系统,其特征是,采用权利要求1~7任一项所述的基于三维信息估算的激光驱鸟方法,包括:可移动平台,用于搭载双目相机和激光器并按照设定路径进行巡航;
双目相机,用于获取设定路径所处环境的左目图像和右目图像;
第一模块,用于基于Fast R‑CNN检测左目图像中是否存在鸟类目标,获取左目图像中的鸟类目标的位置信息;
第二模块,用于根据左目图像中确定的鸟类目标的位置信息确认该鸟类目标在右目图像中的位置信息;
第三模块,根据鸟类目标在左目图像中的位置信息和在右目图像中的位置信息确定鸟类目标的视差值,并根据鸟类目标的视差值获取该鸟类目标的三维位置信息;
云台,用于根据鸟类目标的三维位置信息调整激光器的方位;
激光器,用于发射激光进行驱鸟。