利索能及
我要发布
收藏
专利号: 2018102581905
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,包括如下步骤:

1)初始时刻,人工选定需要跟踪的目标,将目标所在的区域大小为(w0,h0)的RGB图像块同时作为模板T0和模板T1,其中,w0表示图像块的宽,h0表示图像块的高;

2)将模板T0所在的区域内所有像素点反投影到三维空间得到三维点云,计算三维点云的中心作为目标在0时刻的三维位置(X0,Y0,Z0),计算三维点云中的点与(X0,Y0,Z0)距离的最大值r;

3)分别利用模板T0和模板T1在相机获取的RGB图像的R、G、B三个通道上的图像进行模板匹配,得到6张二维响应图R1,R2,...,R6,并计算平均响应图R,计算方法如下:R=(R1+R2+...R6)/6;

4)利用相机拍摄得到的当前时刻的深度图像和给定的相机厂商提供的相机参数将平均响应图R中的每个点 反投影到三维空间得到三维点云集合 点云中的每个点的权值为平均响应图R中对应位置的值

5)将前一时刻跟踪得到的三维位置做初始值,用Parzen窗口方法得到步骤4)中三维点云集合的局部极大值所在位置,该位置即为目标在当前时刻的三维位置(Xt,Yt,Zt);

6)利用目标的当前位置(Xt,Yt,Zt),计算得到目标在当前时刻图像上的投影尺寸(wt,ht),其中,wt表示投影图像的宽,ht表示投影图像的高;

7)计算(Xt,Yt,Zt)在t时刻RGB图像上的投影(xt,yt),在图像上以(xt,yt)为中心取大小为(wt,ht)的图像块T;

8)利用图像块T更新模板T1,T0保持不变;

9)返回步骤3),直到相机停止拍摄得到新的图像。

2.根据权利要求1所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤2)中目标在0时刻的三维位置(X0,Y0,Z0)分别为:其中,(Xi,Yi,Zi)是0时刻三维点云中第i个点的坐标,n为点的总数。

3.根据权利要求1所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤3)中模板匹配过程为:

计算模板T0或模板T1与相机获取的RGB图像内不同位置、但是尺寸与模板图像相同的子图像S的相似度,相似度通过计算模板图像与子图像S之间的归一化交叉相关性得到:i

其中, 和S分别是T0和S的第i个元素,σ(T0)和 分别是T0的方差和均值,σ(S)和 分别是S的方差和均值。

4.根据权利要求1所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤2)和步骤4)的反投影方法如下:对于二维图像上的点(x,y),在深度图像上取得(x,y)的深度d,反投影后的三维位置X坐标为(x‑cx)d/fx,Y坐标为(y‑cy)d/fy,Z坐标为深度d,其中,cx,cy,fx,fy为相机厂商提供的相机参数。

5.根据权利要求1所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤5)中,Parzen窗口方法的步骤如下:j

51):将前一时刻目标的三维位置(Xt‑1,Yt‑1,Zt‑1)作为初始值,即当迭代次数j=0时,Xj j

=Xt‑1,Y=Yt‑1,Z=Zt‑1;

52):通过下式计算新的三维位置:j‑1 j‑1 j‑1

其中, 表示以第j‑1次迭代后的位置(X ,Y ,Z )为中心,半径为r球j‑1 j‑1 j‑1

体范围内的第i个点, 表示(X ,Y ,Z )在图像上的投影, 表示步骤

4中平均响应图在 位置的取值;

53):迭代次数j=j+1;

54):返回步骤52),直到迭代次数j>10,进入下一步;

j j j

55):Xt=X ,Yt=Y ,Zt=Z。

6.根据权利要求5所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤6)中,目标在当前时刻图像上的投影计算方法为:

61)计算初始0时刻三维位置(X0,Y0,Z0)与(X0+r,Y0,Z0)的距离s0;

62)计算当前时刻的三维位置(Xt,Yt,Zt)与(Xt+r,Yt,Zt)的距离st;

63)利用下式计算目标在t时刻图像上的投影尺寸:(wt,ht)=(w0,h0)st/s0。

7.根据权利要求6所述的一种适用于RGB‑D相机的快速目标跟踪方法,其特征在于,所述步骤8)中模板T1的更新方法为:T1=T1+0.1T。