利索能及
我要发布
收藏
专利号: 2021106417526
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于时空正则化和特征可靠性评估的目标跟踪方法,其特征在于,具体操作步骤如下:(1.1)、初始化空间正则化权重;

所述初始化空间正则化权重的具体操作步骤如下:在第一帧使用图像显著性检测算法对目标区域进行操作,获取目标区域的显著性图,然后与原空间正则化系数相结合,得到带有目标内容信息的空间正则化权重,结合方式如下:式(1)中,Smap表示通过单层元胞自动机优化后得出的带有目标内容信息的显著性图;

φ表示固定参数;wo表示原空间正则化权重,其矩阵元wo(x,y)表达式为:式(2)中,xo和yo分别表示第一帧中目标中心的横坐标和纵坐标;W和H分别表示目标的宽和高;ψ和κ都为固定参数;

(1.2)、提取目标特征;

所述提取目标特征是提取三种传统特征和一层深度特征,从而对目标进行外观建模;

其中,所述的三种传统特征是HOG特征、灰度特征和颜色特征,用以提取目标的空间信息;所述的一层深度特征使用经过预训练后的VGG‑16网络提取的,用以提取目标的语义信息;

(1.3)、求解自适应空间正则化权重;

所述求解自适应空间正则化权重的具体过程是:采用交叉方向乘子法对自适应空间正则化权重迭代求解,使空间正则化系数对背景区域进行空间惩罚,从而使得跟踪模型适应目标变化;其中,求解自适应空间正则化权重目标函数如下式所示:式(3)中, w1表示向量化后的w,w1r表示向量化后的wr;λ1表示自适应空间正则化项超参数;

利用交叉方向乘子法对上式(3)进行求解;

首先,加入步长参数η,然后,加入辅助变量t构造出限制等式w1=t,最后,得到增广拉格朗日函数,具体如式所示:其中,子问题1:求解w1;假设变量t和ζ均为已知变量,可得出下式:子问题2:求解t;假设变量w1和ζ均为已知变量,可得出下式:子问题3:求解ζ;拉格朗日乘子ζ的更新方案如下式所示:另外,步长参数η的选择方案如下式所示:

i+1 max i

η =min[η ,δη]        (8)式(8)中,δ表示尺度因子;

(1.4)、求解滤波器;

所述求解滤波器的具体操作过程是:采用交叉方向乘子法对滤波器进行迭代求解,利用前一帧学习到的滤波器对当前帧滤波器进行训练,从而降低滤波器在相邻帧发生的突变;此外,采用更新后的正则化权重对背景区域进行抑制,从而提高跟踪的稳定性;其中,求解滤波器的目标函数如下式所示:式(9)中,*表示相关操作;⊙表示哈达玛积,即矩阵对位相乘操作;K表示总的特征通道数;xk表示第k个通道的训练样本特征;hk表示第k个通道的滤波器;y表示期望输出,设定为以目标为中心的二维高斯分布函数;wr表示带有目标内容信息的空间正则化先验指导权(t‑1)重;h 表示前一时刻学习到的滤波器;λ1表示自适应空间正则化项超参数;μ表示时间正则化项超参数;

利用交叉方向乘子法对式(9)进行求解;其具体是:首先,引入步长参数β;

其次,加入辅助变量g构造限制等式,即h=g;

最后,得出的增广拉格朗日函数为:

(t‑1)

子问题1:求解h;首先,假设变量g、z及h 均为已知变量,则该子问题目标函数则如下式所示:利用傅里叶变换把目标函数转到频域中去,结果如下式所示:接着,把公式(12)分解成多子问题进行求解,每个子问题的目标函数则如下式所示:令 得到如下解:

式(14)中, 再结合Sherman‑Morrison定理对逆矩阵进行求解,公式(14)又可改写为:最终,子问题1的解h可由 经过傅里叶逆变换得到;

子问题2:求解g;假设变量w、h及z均为已知变量,则该子问题目标函数则如下式所示:式(16)的求解是先把第一项变成矩阵化运算,然后直接在实数域中进行算,其解如下式所示:T ‑1

g=(WW+βI) (βh+βz)          (17)子问题3:求解 所述拉格朗日乘子 的更新方案如下式所示:另外;步长参数的选择方案如下式所示:

i+1 max i

β =min[β ,ρβ]               (19)式(19)中,ρ为尺度因子;

(1.5)、特征可靠性评估;

所述特征可靠性评估具体是指:联合峰值旁瓣比和平均峰值相关能量两个指标对特征进行可靠性评估,在跟踪决策阶段根据计算出的可靠性系数对不同特征的跟踪响应进行加权融合,获得用于目标定位的跟踪响应图;下面是自适应融合特征时需要的具体公式;

首先,给出在第t帧计算一段时间内跟踪响应APCE均值的公式,如下式所示:式(20)中,Rτ表示第τ帧的跟踪响应;Δt表示调节时间段长度的超参数;

然后,给出在第t帧计算一段时间内跟踪响应PSR标准差的公式,如下式所示:式(21)中, 表示Δt时间段内跟踪响应的PSR均值,定义如下:最后,给出所述计算特征在第t帧时的可靠性系数的定义式:式(23)中,υ表示控制PSR标准差影响力的超参数;

(1.6)、特征自适应融合与目标定位;

所述特征自适应融合与目标定位具体是指:根据预测目标的尺度变化,引用尺度池,以前一帧滤波器计算得到的目标预测位置为中心,在周围截取多个尺度的候选区域作为当前帧的输入,然后取跟踪响应最大值所对应的目标尺度因子作为当前帧对目标的最佳尺度估计;其中,每个特征的目标响应结果图计算公式如下式所示:r

采用尺度池策略来估算目标尺度大小,即以前一帧预测的目标位置为中心,以α 为尺度提取出多个样本图像进行跟踪响应计算,其中α为尺度增量因子,其中,S表示尺度个数;

在跟踪第t+1帧目标时,使用不同特征的可靠性系数和跟踪响应进行加权融合获取最终的响应结果,其中,所述的融合方式具体如下式所示:式(25)中,Rt+1,final表示第t+1帧中经过特征自适应融合后的最终跟踪响应;Rt+1,feature表示第t+1帧中不同特征的跟踪响应;Ut,feature表示第t帧中经过归一化后的特征可靠性系数,归一化方式如下式所示:最后,取这S个响应结果中最大响应值所对应的目标尺度和目标位置作为当前第t帧最终的跟踪结果。