1.一种单摄像头的行人跟踪方法,其特征在于:包括以下步骤:S1.对视频图像进行检测,将检测出来的行人称为观察目标;
S2.设在当前帧t检测到有κ个观察目标,提取这κ个观察目标的特征;
S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;
S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;
B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;
C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;
S5.执行步骤S4后,对运动轨迹进行更新:
D.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;
E.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;
F.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;
S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;
S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);
S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;
S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);
S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;
S11.基于层次聚类的轨迹匹配:
将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n,n为运动轨迹数;
聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:G.从边集中选出权值最小的边l;
H.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;
I.从边集中删除边l,若边集为空集,聚类结束,否则返回G;
J.聚类结束后,每一类表示一个行人目标;
S12.轨迹修复:
对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。
2.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S2中,提取观察目标特征的具体过程如下:提取观察目标对应的图像区域的颜色直方图和梯度方向直方图作为观察目标的特征;
其中提取颜色直方图的具体步骤如下:
把观察目标图像在竖直方向等分成两部分,分别提取两部分的HSV概率直方图,每通道分32个等级,每部分得到96维特征cupper和clower,颜色直方图为c=[cupper,clower];
提取梯度方向直方图的具体步骤如下:
把观察目标图像归一化到64×32像素的尺寸,然后提取其HOG特征;其中采用大小为8×8像素的单元,从中提取9维直方图,每2×2个单元构成一个块,各单元的9维直方图向量级联构成36维特征向量并归一化;在水平和垂直方向上每间隔8像素提取一个块特征,可获得21个块,将各块对应的特征向量级联构成756维特征向量g。
3.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S3中,提取运动轨迹Ti在当前帧t之前m帧的平均颜色特征作为运动轨迹Ti的特征,然后分别计算运动轨迹和观察目标两部分HSV直方图的巴氏系数BCupper和BClower,相似度定义为
4.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S5中,若运动轨迹连续4帧未成功匹配到观察目标,则不再参与低层次数据关联。
5.根据权利要求2所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S4中,利用稀疏表示分类器求出该观察目标所属的运动轨迹的具体过程如下:分类任务使用的特征为v=[gT/||g||2,cT/||c||2]T,将观察目标作为测试图像,其特征为β,将可能与该观察目标关联的各条运动轨迹末端的k个目标图像的特征组成字典A=[A1,A2,...,An],其中 表示类别u的训练图像子集;
通过求解式(2),获得最优重构系数
若式(2)无解,则通过求解式(3),获得最优重构系数
最后根据式(4)求出观察目标所属的运动轨迹;
其中α表示重构系数,ε表示允许的最大重构误差, 表示保留最优系数 中对应类别u的系数,其余系数设置为0。
6.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S7中,若运动轨迹对(Ta,Tb)满足以下条件,则两者之间为可能关联的运动轨迹对(Ta,Tb):A.Ta和Tb在时间区间上错开,且间隔小于阈值θf;
B.观察目标速度在一定范围内,即 其中 是观察目标 和
的检测框的平均宽度;pa、pb表示观察目标 和 的位置。
7.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S10中,使用双向重构的策略计算运动轨迹对(Ta,Tb)的距离的具体过程如下:A.用图像子集Aa作为字典矩阵,对图像子集Ab的每个样本 分别进行重构,根据式(5)求得每个样本 的重构残差:B.用图像子集Ab作为字典矩阵,对图像子集Aa的每个样本 分别进行重构,根据式(6)求得每个样本 的重构残差:C.从所有残差值中选取最小的k个,计算这前k个最小残差值的平均数,作为两个图像集的距离D(Ta,Tb)。