1.一种抗遮挡的无人机目标跟踪方法,其特征在于,包括以下步骤:
(1)通过机载摄像头获取视频流,在视频流中手动框选所要跟踪的目标对象的边界框;
(2)对所框选的目标对象边界框内的图像进行HOG、CN、LBP即方向梯度直方图、颜色直方图、局部二值模式的特征提取;
(3)分别对HOG特征向量、CN特征向量、LBP特征向量进行核滤波操作;分别计算在HOG特征、CN特征、LBP特征下的响应图;分别计算在HOG、CN、LBP特征下的平均峰值相关能量;其中,分别对HOG特征向量、CN特征向量、LBP特征向量进行核滤波操作包括以下步骤:(31)利用特征向量 、 、 分别构造循环矩阵 、 、 ,其中,循环矩阵
的每一列都是特征向量 的一个循环移位,表示目标在不同位置的特征表示;
(32)使用高斯标签和循环矩阵 训练滤波器;
计算在HOG特征、CN特征、LBP特征下的响应图具体如下:对新的数据样本Z进行快速傅里叶变换得到处理后的数据样本 ,然后使用训练好的滤波器 进行计算响应图 ;
计算在HOG、CN、LBP特征下的平均峰值相关能量分别记为: ,具体如下:
;
其中, 分别为在HOG、CN、LBP特征下的平均峰值相关能量;
、 分别为在HOG、CN、LBP特征下响应图中的最大值,
、 分别为在HOG、CN、LBP特征下响应图中的最小值, 、
、 分别代表在HOG、CN、LBP特征下目标在(w,h)位置处的响应值,其中(w,h)代表跟踪框的像素大小为 ;
(4)通过各个特征下的平均峰值相关能量计算出HOG、CN、LBP特征下的权重;并求出融合后的响应图;公式如下:;
其中,是所有特征加权后的总权重, 分别为HOG,CN,LBP特征下的权
重;
;
其中,R为所有特征加权融合后的响应图, 分别为HOG,CN,LBP特征下
的权重, 分别为HOG、CN、LBP特征下的响应图;
(5)计算融合后的平均相关能量;公式如下:
;
其中,为所有特征加权融合后的平均相关能量, 为所有特征加权融合后响应图中的最大值, 为所有特征加权融合后响应图中的最小值, 代表所有特征加权融合后目标在(w,h)位置处的响应值,其中(w,h)代表跟踪框的像素大小为 ;
(6)构建目标抗遮挡策略以及目标匹配策略;其中,目标抗遮挡策略具体如下:设定两个阈值,其中阈值1为 ,阈值2为 ;比较融合后的平均相关能量值与两个阈值的大小;若则表明目标出现轻微遮挡或没有遮挡,更新滤波器,执行以下操作:a更新滤波器;b读取下一帧;c对所框选的目标对象边界框内的图像进行HOG、CN、LBP即方向梯度直方图、颜色直方图、局部二值模式的特征提取;d分别对HOG特征向量、CN特征向量、LBP特征向量进行核相关滤波操作;分别计算在HOG特征、CN特征、LBP特征下的响应图;分别计算在HOG、CN、LBP特征下的平均峰值相关能量;e通过各个特征下的平均峰值相关能量计算出HOG、CN、LBP特征下的权重;并求出融合后的响应图;f计算融合后的平均峰值相关能量;如果 ,则表明目标部分遮挡,更新滤波器,执行以下操作:A通过ORB目标匹配策略更新目标位置;B更新滤波器;C读取下一帧;D对所框选的目标对象边界框内的图像进行HOG、CN、LBP即方向梯度直方图 、颜色直方图、局部二值模式的特征提取;E分别对HOG特征向量、CN特征向量、LBP特征向量进行核相关滤波操作;分别计算在HOG特征、CN特征、LBP特征下的响应图;分别计算在HOG、CN、LBP特征下的平均峰值相关能量;F通过各个特征下的平均峰值相关能量计算出HOG、CN、LBP特征下的权重;并求出融合后的响应图;G计算融合后的平均峰值相关能量;如果 ,则表明目标严重遮挡或完全遮挡,不更新滤波器,执行步骤 :通过ORB目标匹配策略更新目标位置;读取下一帧;对所框选的目标对象边界框内的图像进行HOG、CN、LBP即方向梯度直方图 、颜色直方图、局部二值模式的特征提取;分别对HOG特征向量、CN特征向量、LBP特征向量进行核相关滤波操作;分别计算在HOG特征、CN特征、LBP特征下的响应图;分别计算在HOG、CN、LBP特征下的平均峰值相关能量;通过各个特征下的平均峰值相关能量计算出HOG、CN、LBP特征下的权重;并求出融合后的响应图;计算融合后的平均峰值相关能量;
目标匹配策略具体如下:
(61)提取框选目标的方向快速特征和旋转二进制鲁棒独立基本特征即ORB特征;
(62)利用上一帧的ORB特征作为模板,利用汉明距离将当前帧的二进制描述符与模板二进制描述符进行特征匹配,找到相匹配的特征点并更新目标位置。
2.根据权利要求1所述的一种抗遮挡的无人机目标跟踪方法,其特征在于,步骤(2)包括以下步骤:(21)对HOG特征进行提取:首先,计算所框选的目标对象边界框中每个像素梯度大小和方向;然后将所框选的目标对象的边界框划分为若干个的单元格,每个单元格包含8×8像素;对于每个单元格,统计像素的梯度方向,构建梯度直方图;将直方图进行归一化处理;将所有的归一化直方图串联起来形成HOG特征向量,记为 ;
(22)对CN特征进行提取:将所框选的目标对象的边界框划分为若干个的单元格,将每个单元格中的颜色映射到一个预定义的颜色名称空间中;其中预定以颜色名称空间包含11种颜色名称:{黑,蓝,棕,灰,绿,粉,紫,红,白,黄};将每个单元格中颜色映射的每个像素,在颜色名称空间中找到最接近的颜色名称,并将像素转换为对应的颜色名称标签;统计每个单元格中中每种颜色名称的出现频率,构建颜色名称直方图;对所有单元格的直方图进行归一化处理,将所有的归一化直方图按顺序串联起来形成一个CN特征向量,记为 ;其中,单元格的大小与步骤(21)相同;
(23)对LBP特征进行提取:将所框选的目标对象的边界框划分为若干个的单元格,对于每个单元格中的每个像素,与周围的8个邻域像素进行比较:若邻域像素的值大于中心像素的值,则将对应的位置设为1,否则设为0;得到一个8位的二进制数即像素的LBP值;对于每个单元格,统计不同LBP值的出现频率,构建一个LBP直方图;直方图的每个bin对应一个LBP值,bin的值是LBP值的出现次数;将所有单元格的LBP直方图串联起来,形成最终的LBP特征向量,记为 ;其中,单元格的大小与步骤(21)相同。