1.一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,包括如下步骤:步骤一,广角相机进行目标识别,并对待跟踪目标进行标记;
步骤二,长焦相机对准广角相机,使长焦相机所在坐标系的Z轴与两相机的光心连线重合;
步骤三,转动长焦相机,搜寻广角相机内标记的待跟踪目标;
步骤四,长焦相机跟踪目标,并进行缩放查看目标。
2.根据权利要求1所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述步骤一包括自动识别标记目标和人为框选目标两种方式。
3.根据权利要求2所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述自动识别标记目标包括以下步骤:首先,准备训练样本并对样本进行标记,然后将样本输入已搭建好的卷积神经网络模型中进行训练,得到训练好的模型;
之后,读取视频流,捕捉视频帧,对图像进行预处理后,输入到训练好的模型中;
然后,利用模型提取图像特征,并进行特征分类,得到类别及位置信息,完成对目标的自动识别;
最后,人工对自动识别出来的某个目标进行标记,用于长焦相机对准和跟踪。
4.根据权利要求2所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述人为框选目标包括以下步骤:在广角相机中人为框选的目标矩形框的左上角坐标为(xd,yd),宽为wd,高为hd;
检测目标矩形框中在一定时间段内动态场景与静态场景的像素数量,设动态场景在矩形框内像素数量为N1,定义动态场景在目标矩形框内的比例:定义R0为动态目标判定阈值,若
r>R0
则判定为所框选目标为动态目标,此时忽略掉初始目标矩形框内的静态场景,并对动态像素进行标记用于长焦相机对准和跟踪;反之,则判定为静态目标,对静态像素进行标记用于长焦相机对准和缩放。
5.根据权利要求1所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述步骤二的具体方法如下:假设广角相机的旋转状态为R1w,长焦相机的旋转状态为R2w,广角相机的光心为O'1,长焦相机的光心为O'2,长焦相机对准广角相机时的旋转状态为Row,长焦相机相对于广角相机的平移向量为t;
通过云台调整长焦相机到预设的对准状态,即使长焦相机所在坐标系的Z轴与 重合,以该状态为进行目标搜寻的起始状态,旋转长焦相机到对准状态时长焦相机的旋转矩阵为:R=RowR2wT。
6.根据权利要求5所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述步骤三的具体方法如下:(1)计算待对齐目标框中心与广角相机光心所成的射线 确定长焦相机的搜索方向:假设广角相机图像上标记的目标框的中心坐标为(x1,y1),反投到归一化平面上的坐标P为:其中,fx,fy为广角相机模型中将空间场景投影到图片上沿X轴和Y轴的缩放系数,cx,cy为广角相机模型中将空间场景投影到图片上的沿X轴和Y轴的平移量;
则目标框中心与广角相机光心所成的射线为:
(2)调整长焦相机状态使长焦相机坐标系XOZ面与射线 共面,使得搜寻目标时仅需转动长焦相机坐标系的Y轴;
对准状态下,长焦相机坐标系内一点P0在广角相机坐标系内的坐标值P1的转换关系为:P1=R1wRowTP0+t
则长焦相机坐标系X轴上一点Xo=[1 0 0]T在广角相机坐标内的坐标X1为:X1=R1wRowTXo+t
将P点投影到 得在广角相机坐标内的投影坐标P':由此,计算出长焦相机坐标系X轴绕Z轴的旋转角度θ:长焦相机坐标系的旋转方向由P点与O'2的相对关系thr决定:thr=P.y-O'2.y
其中,P.y,O'2.y分别为P,O'2在广角相机坐标系下的y坐标值;
当thr>0时,绕Z轴顺时针旋转θ,当thr<0时,绕Z轴逆时针旋转θ,当thr=0时不操作;
旋转后的长焦相机坐标系的XOZ面与广角相机光心到目标的射线 共面;
(3)长焦相机绕长焦相机坐标系Y轴匀速转动搜寻目标:长焦相机从对准状态开始匀速转动,并在拍摄的图像中搜寻与目标特征相匹配的目标,并绘制该目标的匹配框;目标的匹配框的面积大小S在长焦相机的转动过程中由小变大再变小;计算匹配框面积的前后时刻变化状态ΔS:ΔS=Snew-Sold
其中,Sold为前一时刻的检测框面积,Snew为后一时刻的匹配框面积;当ΔS<0时,返回前一时刻的长焦相机旋转状态。
7.根据权利要求6所述的一种广角相机与长焦相机联动双云台跟踪目标的方法,其特征在于,所述步骤四的具体方法如下:长焦相机记录的前一时刻的匹配框的左上角坐标为(xold,yold),宽为wold,高为hold,缩放系数为kold;当前时刻的匹配框的左上角坐标为(xnew,ynew),宽为wnew,高为hnew;长焦相机拍摄图像的中心坐标 W2为长焦相机拍摄图像的宽,H2为长焦相机拍摄图像的高;
(1)静态目标
长焦相机搜寻到静态目标后,使当前时刻匹配框在图像中所占的比例大于期望比例σ0,缩放后当前时刻匹配框的宽wnew和高hnew变为宽w'new和高h'new,匹配框左上角的坐标也变为(x'new,y'new),保存当前时刻缩放后的匹配框信息和缩放系数,用于后续时刻的跟踪计算;
(2)动态目标
当目标移动时,使用长焦相机跟踪目标,不同的相机缩放系数对应不同的相机最大角速度;
在前一时刻的相机缩放系数下追踪目标,使目标匹配框处于图片中心;读取前一时刻缩放系数kold对应的相机转动最大角速度ry_max,rx_max,长焦相机绕Y轴转动的角速度公式如下:
长焦相机绕X轴转动的角速度公式如下:
其中,σ1,σ2为自定义参数;
缩放目标匹配框在图片中的面积,以便于查看目标:调整相机缩放系数knew,使当前时刻匹配框在图像中所占的比例大于期望比例σ3,缩放后当前时刻匹配框的宽wnew和高hnew变为宽w'new和高h'new,匹配框左上角的坐标也变为(x'new,y'new),保存当前时刻缩放后的匹配框信息和缩放系数,用于后续时刻的跟踪计算。