利索能及
我要发布
收藏
专利号: 2021109702283
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Azure Kinect的目标跟踪定位方法,其特征在于,包括以下步骤:步骤1:将待跟踪目标放置于Azure Kinect视场范围内的固定平面上,通过Azure Kinect提取目标物的三维点云数据;

步骤2:读取Azure Kinect内、外参,将目标物点云映射至彩色图,并分割出来;

步骤3:在HSV颜色空间建立融合深度信息的目标物“颜色‑形状”模型;

步骤4:由Azure Kinect实时采集彩色图像和深度图像,对当前帧的图像分别进行深度过滤和颜色过滤;

步骤5:运用深度方差对目标物和相似颜色背景进行连通域分割,获得潜在目标;

步骤6:通过目标物形状偏差率、直方图巴氏距离完成目标识别;

步骤7:若目标识别成功,计算目标物质心P0,以目标物质心区域的深度均值完成目标定位;

步骤8:输出目标物坐标,更新目标颜色直方图、长宽值和深度值,进行下一帧循环;

步骤9:若目标识别失败,重复步骤4至步骤8。

2.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤1中,对待跟踪目标的处理包括以下步骤:步骤1.1:利用直通滤波法PTF对目标物的初始点云进行预处理,通过测量桌面到相机的距离,在Azure Kinect深度传感器坐标系下分别设置X、Y、Z三个方向的阈值区间[x1,x2]、[y1,y2]、[z1,z2],确定桌面及桌面上的目标物在初始点云中的三维空间包围盒,剔除阈值区间外的无效点云,保留桌面及桌面内物体点云;

步骤1.2:采用随机采样一致算法RANSAC识别点云中的平面特征,分离出工作平面,再对桌面上的点云进行欧式聚类,去除内点数量少于阈值的聚类,最终提取目标物点云。

3.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤2中,将目标物点云映射至彩色图的步骤包括以下:步骤2.1:在Azure Kinect深度传感器坐标系下将目标物点云中的三维点Pir=[Xir Yir T T

Zir]转换到深度图中的对应点Qir=[u v 1] ,转换公式如下:其中, 为深度传感器内参;

步骤2.2:将深度传感器坐标系下的三维点Qir转换为彩色相机坐标系下的三维点Prgb=T T

[Xrgb Yrgb Zrgb],最后转换为彩色图对应点Qrgb=[m n 1] ,完成目标物点云到彩色图的映射,转换公式如下:

其中,R为3×3的旋转矩阵,T为3×1的平移矩阵, 为彩色相机内参。

4.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,步骤3中,在HSV颜色空间建立融合深度信息的目标物“颜色‑形状”模型包括以下步骤:步骤3.1:将目标区域图像由RGB颜色空间转化到HSV颜色空间,通过二分法对转换到HSV颜色空间的图像进行两次迭代,过滤映射偏差点;

步骤3.2:分别计算偏差点过滤完成后的目标图像的H、S、V三通道均值,并以H、S、V三通道均值为中值,设置合适大小的区间作为颜色阈值区间,将色调H分为8份,饱和度S分为2份,亮度V分为1份,根据色彩不同范围进行量化,生成20柄一维直方图,建立目标物颜色直方图模型;

步骤3.3:记录偏差点过滤完成后的目标图像的深度值和长、宽值,作为目标初始形状模型。

5.根据权利要求4所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,步骤3.1中,在HSV颜色空间确定颜色阈值区间的具体步骤如下:Step1:将目标物彩色图转换至HSV颜色空间下,并提取其H通道下的灰度图像;

Step2:遍历图像中的非0像素点,记录图像中最大灰度值Hmax,最小灰度值Hmin,并计算其中值Hm;

Step3:设置区间[Hmin,Hm]和[Hm,Hmax],遍历图像并分别统计区间中点的个数;

Step4:将比重较小区间内的点过滤,去除灰度值大于目标物和灰度值小于目标物的点;

Step5:重复Step2、Step3,去除灰度值大于目标物和灰度值小于目标物的点。

6.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤4中,对图像进行深度过滤的步骤包括以下:根据跟踪过程中实时获得的目标物深度值,通过点云映射公式,计算彩色图像任意一点的深度值,由下式对图像进行深度过滤:其中,f(i,j)为彩色图像,d为上一帧目标物深度值,Dr(i,j)为彩色图对应点深度,DL为预设深度阈值;

对图像进行颜色过滤的步骤包括以下:将彩色图像由RGB颜色空间转到HSV颜色空间,并根据颜色模型由颜色阈值区间对图像进行识别,提取与目标物颜色相似的对象,符合阈值区间的像素为255,其余则为0。

7.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤5中,运用深度方差对目标物和相似颜色背景进行连通域分割,获得潜在目标的步骤包括以下:

步骤5.1:通过深度方差分割二值图像连通域,通过深度模板与轮廓图像进行卷积运算,将模板在图像中逐像素点移动,遍历图像中每一个连通域,计算深度模板中心像素所在位置的方差值,计算公式如下:

其中,Dv(i,j)表示模板中心方差值,D(u,v)表示模板内各像素点的深度值,D(i,j)表示模板中心像素点的深度值;

步骤5.2:深度方差阈值过滤,完成对所有轮廓的遍历后,轮廓内深度方差较大的像素点可以认为是目标物、干扰物以及背景交界处的点,而方差较小的点则是每个物体内部的点,通过设置合适的阈值,完成连通域分割,分割完成后每一连通域都为潜在目标,具体如下:

其中,DT为深度方差阈值。

8.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤6中,对目标物形状偏差率、直方图巴氏距离完成目标识别的步骤包括以下:步骤6.1:计算潜在目标与形状模型的相似程度,作为目标形状相似度δ1,形状相似度δ1用当前帧检测到的潜在目标的长、宽值(Ld、Wd)与目标物前三帧平均长宽值(LM、WM)的偏差率描述,偏差率越接近于0,目标形状相似程度越高,计算公式如下:其中,(LM、WM)为模板长、宽值,(Ld、Wd)为潜在目标轮廓长、宽值;

步骤6.2:计算颜色直方图巴氏距离,作为目标颜色相似度δ2,颜色相似度δ2用组数为i的潜在目标直方图QM与目标颜色直方图QT的巴氏距离来描述,巴氏距离越接近于1,直方图相似程度越高,计算公式如下:

其中,QM为潜在目标直方图,QT为目标颜色直方图,i为颜色直方图的组数;

步骤6.3:选择合适的阈值δTH与δTC,当δ1<δTH时,计算该区域的颜色相似度δ2,当δ2>δTC时则判断为目标识别成功。

9.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤7中,为了防止目标质心点和反光点重合而无深度数据,质心深度均值的计算选取以质心DS(i,j)为中心的9×9像素区域进行,统计该区域深度非0点的个数,如果存在0值则将质心上移9个像素,直到不存在0值,目标物深度值DK计算公式具体如下:其中,m、n分别是像素点在RGB图像中对应的横坐标和纵坐标。

10.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法,其特征在于,在步骤8中,实时跟踪过程中,目标不断运动,其深度也在不断变化,根据目标物在图像中的大小和深度呈反比的关系,以检测到的目标物前三帧平均深度值DM和平均长、宽值(LM、WM),计算出当前帧下,深度值为Dt的跟踪目标的长、宽值(Lt、Wt),更新初始形状模型,如下式所示: