利索能及
我要发布
收藏
专利号: 201610965313X
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-28
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标跟踪方法,其特征在于,应用于录播系统中的终端,包括:获取当前图像对应的三维点云;其中,所述三维点云中每个三维点的位置信息包含第一坐标值、第二坐标值和高度值;

将所述三维点云进行投影,得到二维投影图;其中,所述二维投影图中每个二维点的位置信息包含第一坐标值和第二坐标值;

确定所述每个二维点对应的三维点的数量;

根据每个二维点对应的三维点的数量,在所述二维投影图中确定每个峰值点;

根据所确定的峰值点,确定所述当前图像中的目标的位置;

针对每个目标,根据所确定的该目标在所述当前图像中的当前位置及保存的该目标的历史运动轨迹,更新该目标的运动轨迹;其中,所述历史运动轨迹根据该目标在所述当前图像之前的预设数量帧图像中的位置确定。

2.根据权利要求1所述的方法,其特征在于,所述根据所确定的峰值点,确定所述当前图像中的目标的位置的步骤包括:当相邻峰值点的距离小于第一预设阈值时,将所述相邻峰值点进行融合;

根据融合后的峰值点,确定所述当前图像中的目标的位置。

3.根据权利要求1所述的方法,其特征在于,所述根据所确定的峰值点,确定所述当前图像中的目标的位置的步骤包括:针对所确定的每个峰值点,判断所述峰值点对应的高度值是否在第一预设区间,如果是,将所述峰值点确定为目标峰值点;

根据每个目标峰值点,确定所述当前图像中的目标的位置。

4.根据权利要求1所述的方法,其特征在于,当所述目标为人体时,所述根据所确定的峰值点,确定所述当前图像中的目标的位置的步骤包括:针对所确定的每个峰值点,确定所述峰值点对应的三维点群;

对所述三维点群进行投影,得到二维点群;

利用深度学习算法,判断所述二维点群对应的目标是否为人体;

如果是,根据所述峰值点,确定所述当前图像中的目标的位置。

5.根据权利要求1所述的方法,其特征在于,所述更新该目标的运动轨迹的步骤包括:根据该目标的当前位置及该目标的历史运动轨迹,判断该目标是否发生抖动;

如果否,直接更新该目标的运动轨迹;

如果是,根据该目标的历史运动轨迹,对该目标的当前位置进行校正;

根据校正后的当前位置及该目标的历史运动轨迹,对该目标的运动轨迹进行更新。

6.根据权利要求5所述的方法,其特征在于,所述对该目标的当前位置进行校正的步骤包括:

确定该目标的历史运动轨迹中每个历史位置对应的权重;

根据所述每个历史位置及其对应的权重,对该目标的当前位置进行校正。

7.根据权利要求1‑6任一项所述的方法,其特征在于,所述当前图像为教学录播采集设备采集到的图像,所述目标为教师。

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:当未确定出所述当前图像中的目标的位置时,输出第一报警信息至与所述终端相连的主机,以使所述主机对所述当前图像进行全景展示;

当确定出所述当前图像中的一个目标的位置时,输出第二报警信息至所述主机,所述第二报警信息中包含所述一个目标的位置,以使所述主机根据所述一个目标的位置,对所述一个目标进行特写展示;

当确定出所述当前图像中的至少两个目标的位置时,输出第三报警信息至所述主机,所述第三报警信息中包含所述至少两个目标的位置,以使所述主机:根据所述至少两个目标的位置,对所述至少两个目标进行特写展示;或者,对所述当前图像进行全景展示;或者,判断当前是否存在进行特写展示的第一目标,如果是,在所述第三报警信息中包含的至少两个目标中,确定出所述第一目标,对所述当前图像中的第一目标进行特写展示。

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:当确定出目标的运动轨迹时,根据所述目标的运动轨迹,确定所述目标的移动速度;当所述移动速度大于预设阈值时,输出所述第一报警信息至与所述终端相连的主机。

10.一种目标跟踪方法,其特征在于,应用于录播系统中的终端,包括:获取当前图像对应的三维点云;其中,所述三维点云中每个三维点的位置信息中包含高度值;

将所述三维点云与预先获取的高度背景模型进行匹配,确定每个匹配点对;其中,所述匹配点对中包含一个所述三维点云中的三维点和一个所述高度背景模型中的点;

针对每个匹配点对,判断所述点对中包含的两个点的高度值的差值是否大于预设阈值;

如果是,将所述点对中包含的三维点确定为目标点;

根据所确定的目标点,确定所述当前图像中目标的位置。

11.根据权利要求10所述的方法,其特征在于,获取的高度背景模型的过程包括:获取N帧背景图像对应的N个三维点云;其中,所述N大于1,每帧背景图像分别对应一个三维点云;

根据所述N个三维点云中三维点的高度值,构建一个高度背景模型。

12.根据权利要求11所述的方法,其特征在于,所述根据所述N个三维点云中三维点的高度值,构建一个高度背景模型的步骤包括:将所述N个三维点云进行融合处理,得到一个融合后的三维点云;

根据所述融合后的三维点云中三维点的高度值,构建一个高度背景模型。

13.根据权利要求11所述的方法,其特征在于,所述根据所述N个三维点云中三维点的高度值,构建一个高度背景模型的步骤包括:将所述N个三维点云进行投影,得到N个二维投影图及其对应的高度信息;其中,所述高度信息中包含二维点对应的三维点的高度值;

根据所述高度信息,构建一个高度背景模型。

14.根据权利要求10所述的方法,其特征在于,所述位置信息中还包含第一宽度值,所述根据所确定的目标点,确定所述当前图像中目标的位置的步骤包括:根据所确定的目标点,确定所述当前图像中候选目标的位置;

针对每个候选目标,根据所述候选目标中包含的三维点的第一宽度值,确定所述候选目标的第二宽度值;

判断所述第二宽度值是否在第二预设区间;

如果是,将所述候选目标的位置确定为所述当前图像中目标的位置。

15.根据权利要求10‑14任一项所述的方法,其特征在于,所述当前图像为教学录播采集设备采集到的图像,所述目标为站立的学生。

16.根据权利要求15所述的方法,其特征在于,所述方法还包括:当未确定出所述当前图像中的目标的位置时,输出第四报警信息至与所述终端相连的主机,以使所述主机对所述当前图像进行全景展示;

当确定出所述当前图像中的一个目标的位置时,输出第五报警信息至所述主机,所述第五报警信息中包含所述一个目标的位置,以使所述主机根据所述一个目标的位置,对所述一个目标进行特写展示;

当确定出所述当前图像中的至少两个目标的位置时,输出第六报警信息至所述主机,所述第六报警信息中包含所述至少两个目标的位置,以使所述主机:根据所述至少两个目标的位置,对所述至少两个目标进行特写展示;或者,对所述当前图像进行全景展示;或者,判断当前是否存在进行特写展示的第二目标;如果是,在所述第六报警信息中包含的至少两个目标中,确定出所述第二目标;对所述当前图像中的第二目标进行特写展示。

17.一种目标跟踪装置,其特征在于,应用于录播系统中的终端,包括:第一获取模块,用于获取当前图像对应的三维点云;其中,所述三维点云中每个三维点的位置信息包含第一坐标值、第二坐标值和高度值;

投影模块,用于将所述三维点云进行投影,得到二维投影图;其中,所述二维投影图中每个二维点的位置信息包含第一坐标值和第二坐标值;

第一确定模块,用于确定所述每个二维点对应的三维点的数量;

第二确定模块,用于根据每个二维点对应的三维点的数量,在所述二维投影图中确定每个峰值点;

第三确定模块,用于根据所确定的峰值点,确定所述当前图像中的目标的位置;

更新模块,用于针对每个目标,根据所确定的该目标在所述当前图像中的当前位置及保存的该目标的历史运动轨迹,更新该目标的运动轨迹;其中,所述历史运动轨迹根据该目标在所述当前图像之前的预设数量帧图像中的位置确定。

18.根据权利要求17所述的装置,其特征在于,所述第三确定模块,具体用于:当相邻峰值点的距离小于第一预设阈值时,将所述相邻峰值点进行融合;

根据融合后的峰值点,确定所述当前图像中的目标的位置。

19.根据权利要求17所述的装置,其特征在于,所述第三确定模块,具体用于:针对所确定的每个峰值点,判断所述峰值点对应的高度值是否在第一预设区间,如果是,将所述峰值点确定为目标峰值点;

根据每个目标峰值点,确定所述当前图像中的目标的位置。

20.根据权利要求17所述的装置,其特征在于,当所述目标为人体时,所述第三确定模块,具体用于:

针对所确定的每个峰值点,确定所述峰值点对应的三维点群;

对所述三维点群进行投影,得到二维点群;

利用深度学习算法,判断所述二维点群对应的目标是否为人体;

如果是,根据所述峰值点,确定所述当前图像中的目标的位置。

21.根据权利要求17所述的装置,其特征在于,所述更新模块,包括:判断子模块,用于针对每个目标,根据该目标的当前位置及该目标的历史运动轨迹,判断该目标是否发生抖动;如果否,触发第一更新子模块,如果是,触发校正子模块;

所述第一更新子模块,用于直接更新该目标的运动轨迹;

所述校正子模块,用于根据该目标的历史运动轨迹,对该目标的当前位置进行校正;

第二更新子模块,用于根据校正后的当前位置及该目标的历史运动轨迹,对该目标的运动轨迹进行更新。

22.根据权利要求21所述的装置,其特征在于,所述校正子模块,具体用于:确定该目标的历史运动轨迹中每个历史位置对应的权重;

根据所述每个历史位置及其对应的权重,对该目标的当前位置进行校正。

23.根据权利要求17‑22任一项所述的装置,其特征在于,所述当前图像为教学录播采集设备采集到的图像,所述目标为教师。

24.根据权利要求23所述的装置,其特征在于,所述装置还包括:第一输出模块,用于当未确定出所述当前图像中的目标的位置时,输出第一报警信息至与所述终端相连的主机,以使所述主机对所述当前图像进行全景展示;

第一输出模块,用于当确定出所述当前图像中的一个目标的位置时,输出第二报警信息至所述主机,所述第二报警信息中包含所述一个目标的位置,以使所述主机根据所述一个目标的位置,对所述一个目标进行特写展示;

第三输出模块,用于当确定出所述当前图像中的至少两个目标的位置时,输出第三报警信息至所述主机,所述第三报警信息中包含所述至少两个目标的位置,以使所述主机:根据所述至少两个目标的位置,对所述至少两个目标进行特写展示;或者,对所述当前图像进行全景展示;或者,判断当前是否存在进行特写展示的第一目标,如果是,在所述第三报警信息中包含的至少两个目标中,确定出所述第一目标,对所述当前图像中的第一目标进行特写展示。

25.根据权利要求24所述的装置,其特征在于,所述第一输出模块,还用于:当确定出目标的运动轨迹时,根据所述目标的运动轨迹,确定所述目标的移动速度;当所述移动速度大于预设阈值时,输出所述第一报警信息至与所述终端相连的主机。

26.一种目标跟踪装置,其特征在于,应用于录播系统中的终端,包括:第二获取模块,用于获取当前图像对应的三维点云;其中,所述三维点云中每个三维点的位置信息中包含高度值;

匹配模块,用于将所述三维点云与预先获取的高度背景模型进行匹配,确定每个匹配点对;其中,所述匹配点对中包含一个所述三维点云中的三维点和一个所述高度背景模型中的点;

判断模块,用于针对每个匹配点对,判断所述点对中包含的两个点的高度值的差值是否大于预设阈值;如果是,触发第四确定模块;

所述第四确定模块,用于将所述点对中包含的三维点确定为目标点;

第五确定模块,用于根据所述第四确定模块确定的目标点,确定所述当前图像中目标的位置。

27.根据权利要求26所述的装置,其特征在于,所述装置还包括:第三获取模块,用于获取N帧背景图像对应的N个三维点云;其中,所述N大于1,每帧背景图像分别对应一个三维点云;

构建模块,用于根据所述N个三维点云中三维点的高度值,构建一个高度背景模型。

28.根据权利要求27所述的装置,其特征在于,所述构建模块,具体用于:将所述N个三维点云进行融合处理,得到一个融合后的三维点云;

根据所述融合后的三维点云中三维点的高度值,构建一个高度背景模型。

29.根据权利要求28所述的装置,其特征在于,所述构建模块,具体用于:将所述N个三维点云进行投影,得到N个二维投影图及其对应的高度信息;其中,所述高度信息中包含二维点对应的三维点的高度值;

根据所述高度信息,构建一个高度背景模型。

30.根据权利要求26所述的装置,其特征在于,所述位置信息中还包含第一宽度值,所述第五确定模块,具体用于:

根据所述第四确定模块确定的目标点,确定所述当前图像中候选目标的位置;

针对每个候选目标,根据所述候选目标中包含的三维点的第一宽度值,确定所述候选目标的第二宽度值;

判断所述第二宽度值是否在第二预设区间;

如果是,将所述候选目标的位置确定为所述当前图像中目标的位置。

31.根据权利要求26‑30任一项所述的装置,其特征在于,所述当前图像为教学录播采集设备采集到的图像,所述目标为站立的学生。

32.根据权利要求31所述的装置,其特征在于,所述装置还包括:第四输出模块,用于当未确定出所述当前图像中的目标的位置时,输出第四报警信息至与所述终端相连的主机,以使所述主机对所述当前图像进行全景展示;

第五输出模块,用于当确定出所述当前图像中的一个目标的位置时,输出第五报警信息至所述主机,所述第五报警信息中包含所述一个目标的位置,以使所述主机根据所述一个目标的位置,对所述一个目标进行特写展示;

第六输出模块,用于当确定出所述当前图像中的至少两个目标的位置时,输出第六报警信息至所述主机,所述第六报警信息中包含所述至少两个目标的位置,以使所述主机:根据所述至少两个目标的位置,对所述至少两个目标进行特写展示;或者,对所述当前图像进行全景展示;或者,判断当前是否存在进行特写展示的第二目标;如果是,在所述第六报警信息中包含的至少两个目标中,确定出所述第二目标;对所述当前图像中的第二目标进行特写展示。

33.一种录播系统,其特征在于,包括:第一终端、第二终端和主机,其中,所述第一终端,用于获取第一当前图像对应的第一三维点云;其中,所述第一三维点云中每个第一三维点的位置信息包含第一坐标值、第二坐标值和高度值;将所述第一三维点云进行投影,得到二维投影图;其中,所述二维投影图中每个二维点的位置信息包含第一坐标值和第二坐标值;确定所述每个二维点对应的三维点的数量;根据每个二维点对应的三维点的数量,在所述二维投影图中确定每个峰值点;根据所确定的峰值点,确定所述第一当前图像中的目标的位置;

所述第二终端,用于获取第二当前图像对应的第二三维点云;其中,所述第二三维点云中每个三维点的位置信息中包含高度值;将所述三维点云与预先获取的高度背景模型进行匹配,确定每个匹配点对;其中,所述匹配点对中包含一个所述第二三维点云中的三维点和一个所述高度背景模型中的点;针对每个匹配点对,判断所述点对中包含的两个点的高度值的差值是否大于预设阈值;如果是,将所述点对中包含的三维点确定为目标点;根据所确定的目标点,确定所述第二当前图像中目标的位置;

所述主机,用于根据所述第一终端确定的所述第一当前图像中的目标的位置、以及所述第二终端确定的所述第二当前图像中目标的位置进行图像展示。

34.根据权利要求33所述的系统,其特征在于,所述第一终端,还用于:当未确定出所述第一当前图像中的目标的位置时,输出第一报警信息至所述主机;

当确定出所述第一当前图像中的一个目标的位置时,输出第二报警信息至所述主机,所述第二报警信息中包含所述一个目标的位置;

当确定出所述第一当前图像中的至少两个目标的位置时,输出第三报警信息至所述主机,所述第三报警信息中包含所述至少两个目标的位置;

所述第二终端,还用于:

当未确定出所述第二当前图像中的目标的位置时,输出第四报警信息至所述主机;

当确定出所述第二当前图像中的一个目标的位置时,输出第五报警信息至所述主机,所述第五报警信息中包含所述一个目标的位置;

当确定出所述第二当前图像中的至少两个目标的位置时,输出第六报警信息至所述主机,所述第六报警信息中包含所述至少两个目标的位置;

所述主机,具体用于:

当接收到第一报警信息时,对所述第一当前图像进行全景展示;

当接收到第二报警信息时,根据所述第二报警信息中包含的一个目标的位置,对所述一个目标进行特写展示;

当接收到第三报警信息时:

根据所述第三报警信息中包含的至少两个目标的位置,对所述至少两个目标进行特写展示;

或者,对所述第一当前图像进行全景展示;

或者,判断当前是否存在进行特写展示的第一目标;如果是,在所述第三报警信息中包含的至少两个目标中,确定出所述第一目标;对所述第一当前图像中的第一目标进行特写展示;

当接收到所述第四报警信息时,对所述第二当前图像进行全景展示;

当接收到所述第五报警信息时,根据所述第五报警信息中包含的一个目标的位置,对所述目标进行特写展示;

当接收到所述第六报警信息时:

根据所述第六报警信息中包含的至少两个目标的位置,对所述至少两个目标进行特写展示;

或者,对所述第二当前图像进行全景展示;

或者,判断当前是否存在进行特写展示的第二目标;如果是,在所述第六报警信息中包含的至少两个目标中,确定出所述第二目标;对所述第二当前图像中的第二目标进行特写展示。