利索能及
我要发布
收藏
专利号: 2016108683439
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种行走行为的预测方法,其特征在于,包括:

对目标场景中至少一目标对象在一个历史时间段M内的行走行为信息进行编码,获得用于表示所述至少一目标对象在历史时间段M内行走行为信息的第一偏移量信息;

将所述第一偏移量信息输入至深度神经网络CNN,由所述CNN输出用于表示所述至少一目标对象在未来时间段M’内行走行为信息的第二偏移量信息;

对所述第二偏移量信息进行解码,获得所述至少一目标对象在未来时间段M’内的行走行为预测信息。

2.根据权利要求1所述的方法,其特征在于,所述目标场景为需要进行行走行为预测的目标对象所在的场景;

所述至少一个目标对象包括所述目标场景中的部分目标对象或者所有目标对象,所述至少一目标对象包括所述需要进行行走行为预测的目标对象。

3.根据权利要求1所述的方法,其特征在于,所述目标对象包括行人。

4.根据权利要求1所述的方法,其特征在于,所述行走行为信息或所述行走行为预测信息包括以下任意一种或多种:行走路径信息、行走方向信息、行走速度信息。

5.根据权利要求2所述的方法,其特征在于,所述目标对象包括行人。

6.根据权利要求2所述的方法,其特征在于,所述行走行为信息或所述行走行为预测信息包括以下任意一种或多种:行走路径信息、行走方向信息、行走速度信息。

7.根据权利要求1-6任一所述的方法,其特征在于,所述偏移量信息具体为偏移量矩阵;所述第一偏移量信息具体为第一偏移量矩阵,所述第二偏移量信息具体为第二偏移量矩阵。

8.根据权利要求7所述的方法,其特征在于,所述对目标场景中至少一个目标对象在一个历史时间段M内的行走行为信息进行编码,获得第一偏移量矩阵包括:分别获取所述目标场景中各目标对象在历史时间段M内的行走行为信息;

分别针对各目标对象在历史时间段M内的行走行为信息,以一个位移向量表示目标对象在历史时间段M内的行走行为信息;

根据各目标对象的位移向量确定所述第一偏移量矩阵。

9.根据权利要求7所述的方法,其特征在于,所述CNN包括第一子CNN、按位相加单元和第二子CNN;

所述将所述第一偏移量矩阵输入至CNN,由所述CNN输出第二偏移量矩阵包括:将所述第一偏移量矩阵作为第一子CNN的输入,利用所述第一子CNN对所述至少一目标对象在历史时间段M内的行走行为信息进行分类,获得行走行为特征图;

利用按位相加单元,将预先设置的所述目标场景的位置信息图与所述行走行为特征图基于对应位置相加,获得场景行走行为信息;所述位置信息图包括所述目标场景中空间结构的位置信息;

将所述场景行走行为信息作为所述第二子CNN的输入,利用所述第二子CNN分别确定所述至少一目标对象在历史时间段M内的各类行走行为在未来时间段M’内对所述第一偏移量矩阵的影响信息,并根据所述影响信息确定所述第二偏移量矩阵。

10.根据权利要求9所述的方法,其特征在于,还包括:

预先根据所述目标场景的空间结构信息确定所述目标场景的位置信息图。

11.根据权利要求9所述的方法,其特征在于,所述第一子CNN包括级联的多个CNN层;所述第一子CNN中的每个CNN层分别包括多个卷积滤波器;和/或所述第二子CNN包括级联的多个CNN层;所述第二子CNN中的每个CNN层分别包括多个卷积滤波器。

12.根据权利要求9所述的方法,其特征在于,所述CNN还包括第一池化单元和第二池化单元;

所述获得行走行为特征图之后,还包括:利用第一池化单元,对所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

获得所述第二偏移量矩阵之后,还包括:利用第二池化单元,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

13.根据权利要求11所述的方法,其特征在于,所述CNN还包括第一池化单元和第二池化单元;

所述获得行走行为特征图之后,还包括:利用第一池化单元,对所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

获得所述第二偏移量矩阵之后,还包括:利用第二池化单元,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

14.根据权利要求8所述的方法,其特征在于,所述CNN包括第一子CNN、按位相加单元和第二子CNN;

所述将所述第一偏移量矩阵输入至CNN,由所述CNN输出第二偏移量矩阵包括:将所述第一偏移量矩阵作为第一子CNN的输入,利用所述第一子CNN对所述至少一目标对象在历史时间段M内的行走行为信息进行分类,获得行走行为特征图;

利用按位相加单元,将预先设置的所述目标场景的位置信息图与所述行走行为特征图基于对应位置相加,获得场景行走行为信息;所述位置信息图包括所述目标场景中空间结构的位置信息;

将所述场景行走行为信息作为所述第二子CNN的输入,利用所述第二子CNN分别确定所述至少一目标对象在历史时间段M内的各类行走行为在未来时间段M’内对所述第一偏移量矩阵的影响信息,并根据所述影响信息确定所述第二偏移量矩阵。

15.根据权利要求14所述的方法,其特征在于,还包括:

预先根据所述目标场景的空间结构信息确定所述目标场景的位置信息图。

16.根据权利要求14所述的方法,其特征在于,所述第一子CNN包括级联的多个CNN层;

所述第一子CNN中的每个CNN层分别包括多个卷积滤波器;和/或所述第二子CNN包括级联的多个CNN层;所述第二子CNN中的每个CNN层分别包括多个卷积滤波器。

17.根据权利要求14所述的方法,其特征在于,所述CNN还包括第一池化单元和第二池化单元;

所述获得行走行为特征图之后,还包括:利用第一池化单元,对所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

获得所述第二偏移量矩阵之后,还包括:利用第二池化单元,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

18.根据权利要求16所述的方法,其特征在于,所述CNN还包括第一池化单元和第二池化单元;

所述获得行走行为特征图之后,还包括:利用第一池化单元,对所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

获得所述第二偏移量矩阵之后,还包括:利用第二池化单元,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

19.根据权利要求7所述的方法,其特征在于,对所述第二偏移量矩阵进行解码,获得所述至少一个目标对象在未来时间段M’内的行走行为预测信息包括:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述所有至少一对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据所述至少一目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一目标对象在未来时间段M’内的行走行为的预测信息。

20.根据权利要求8所述的方法,其特征在于,对所述第二偏移量矩阵进行解码,获得所述至少一个目标对象在未来时间段M’内的行走行为预测信息包括:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述所有至少一对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据所述至少一目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一目标对象在未来时间段M’内的行走行为的预测信息。

21.根据权利要求9所述的方法,其特征在于,对所述第二偏移量矩阵进行解码,获得所述至少一个目标对象在未来时间段M’内的行走行为预测信息包括:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述所有至少一对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据所述至少一目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一目标对象在未来时间段M’内的行走行为的预测信息。

22.根据权利要求12所述的方法,其特征在于,还包括:

预先对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

23.根据权利要求22所述的方法,其特征在于,所述对初始CNN进行网络训练,获得所述CNN包括:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

24.根据权利要求23所述的方法,其特征在于,所述训练结果满足预定收敛条件包括:当前训练单元的输出结预设输出结果之间的偏差小于第一预设阈值;和/或当前训练单元进行迭代训练的次数达到第二预设阈值。

25.根据权利要求13所述的方法,其特征在于,还包括:

预先对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

26.根据权利要求25所述的方法,其特征在于,所述对初始CNN进行网络训练,获得所述CNN包括:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

27.根据权利要求26所述的方法,其特征在于,所述训练结果满足预定收敛条件包括:当前训练单元的输出结预设输出结果之间的偏差小于第一预设阈值;和/或当前训练单元进行迭代训练的次数达到第二预设阈值。

28.根据权利要求17所述的方法,其特征在于,还包括:

预先对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

29.根据权利要求28所述的方法,其特征在于,所述对初始CNN进行网络训练,获得所述CNN包括:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

30.根据权利要求29所述的方法,其特征在于,所述训练结果满足预定收敛条件包括:当前训练单元的输出结预设输出结果之间的偏差小于第一预设阈值;和/或当前训练单元进行迭代训练的次数达到第二预设阈值。

31.根据权利要求18所述的方法,其特征在于,还包括:

预先对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

32.根据权利要求31所述的方法,其特征在于,所述对初始CNN进行网络训练,获得所述CNN包括:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

33.根据权利要求32所述的方法,其特征在于,所述训练结果满足预定收敛条件包括:当前训练单元的输出结预设输出结果之间的偏差小于第一预设阈值;和/或当前训练单元进行迭代训练的次数达到第二预设阈值。

34.一种行走行为的预测装置,其特征在于,包括:

行为编码单元,用于对目标场景中至少一个目标对象在一个历史时间段M内的行走行为信息进行编码,获得用于表示所述至少一个目标对象在历史时间段M内行走行为信息的第一偏移量信息;

深度神经网络CNN,用于接收所述第一偏移量信息,输出用于表示所述至少一个目标对象在未来时间段M’内行走行为信息的第二偏移量信息;

行为解码单元,用于对所述第二偏移量信息进行解码,获得所述至少一个目标对象在未来时间段M’内的行走行为预测信息。

35.根据权利要求34所述的装置,其特征在于,所述行走行为信息或所述行走行为预测信息包括以下任意一种或多种:行走路径信息、行走方向信息、行走速度信息。

36.根据权利要求34或35所述的装置,其特征在于,所述偏移量信息具体为偏移量矩阵;所述第一偏移量信息具体为第一偏移量矩阵,所述第二偏移量信息具体为第二偏移量矩阵。

37.根据权利要求36所述的装置,其特征在于,所述行为编码单元具体用于:分别获取所述目标场景中各目标对象在历史时间段M内的行走行为信息;

分别针对各目标对象在历史时间段M内的行走行为信息,以一个位移向量表示目标对象在历史时间段M内的行走行为;

根据各目标对象的位移向量,确定所述第一偏移量矩阵。

38.根据权利要求36所述的装置,其特征在于,所述CNN包括:第一子CNN,用于接收所述第一偏移量矩阵,对所述至少一个目标对象在历史时间段M内的行走行为信息进行分类,获得行走行为特征图;

按位相加单元,用于将预先设置的所述目标场景的位置信息图与所述行走行为特征图基于对应位置相加,获得场景行走行为信息;所述位置信息图包括所述目标场景中空间结构的位置信息;

第二子CNN,用于接收所述场景行走行为信息,分别确定所述至少一个目标对象在历史时间段M内的各类行走行为在未来时间段M’内对所述第一偏移量矩阵的影响信息,并根据所述影响信息确定。

39.根据权利要求38所述的装置,其特征在于,所述第一子CNN包括级联的多个CNN层;

所述第一子CNN中每个CNN层中的各CNN层分别包括多个卷积滤波器;和/或所述第二子CNN包括级联的多个CNN层;所述第二子CNN中每个CNN层中的各CNN层分别包括多个卷积滤波器。

40.根据权利要求38所述的装置,其特征在于,所述CNN还包括:第一池化单元,用于对所述第一子CNN获得的所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

第二池化单元,用于在所述第二子CNN获得所述第二偏移量矩阵之后,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

41.根据权利要求39所述的装置,其特征在于,所述CNN还包括:第一池化单元,用于对所述第一子CNN获得的所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

第二池化单元,用于在所述第二子CNN获得所述第二偏移量矩阵之后,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

42.根据权利要求37所述的装置,其特征在于,所述CNN包括:第一子CNN,用于接收所述第一偏移量矩阵,对所述至少一个目标对象在历史时间段M内的行走行为信息进行分类,获得行走行为特征图;

按位相加单元,用于将预先设置的所述目标场景的位置信息图与所述行走行为特征图基于对应位置相加,获得场景行走行为信息;所述位置信息图包括所述目标场景中空间结构的位置信息;

第二子CNN,用于接收所述场景行走行为信息,分别确定所述至少一个目标对象在历史时间段M内的各类行走行为在未来时间段M’内对所述第一偏移量矩阵的影响信息,并根据所述影响信息确定。

43.根据权利要求42所述的装置,其特征在于,所述第一子CNN包括级联的多个CNN层;

所述第一子CNN中每个CNN层中的各CNN层分别包括多个卷积滤波器;和/或所述第二子CNN包括级联的多个CNN层;所述第二子CNN中每个CNN层中的各CNN层分别包括多个卷积滤波器。

44.根据权利要求42所述的装置,其特征在于,所述CNN还包括:第一池化单元,用于对所述第一子CNN获得的所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

第二池化单元,用于在所述第二子CNN获得所述第二偏移量矩阵之后,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

45.根据权利要求43所述的装置,其特征在于,所述CNN还包括:第一池化单元,用于对所述第一子CNN获得的所述行走行为特征图进行最大值下采样,获得新行走行为特征图,所述新行走行为特征图的空间大小小于所述行走行为特征图;

第二池化单元,用于在所述第二子CNN获得所述第二偏移量矩阵之后,对所述第二偏移量矩阵进行卷积上采样,获得与所述第一偏移量矩阵的大小相同的第二偏移量矩阵。

46.根据权利要求36所述的装置,其特征在于,所述行为解码单元具体用于:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一个目标对象在未来时间段M’内的行走行为预测信息。

47.根据权利要求37所述的装置,其特征在于,所述行为解码单元具体用于:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一个目标对象在未来时间段M’内的行走行为预测信息。

48.根据权利要求38所述的装置,其特征在于,所述行为解码单元具体用于:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一个目标对象在未来时间段M’内的行走行为预测信息。

49.根据权利要求40所述的装置,其特征在于,所述行为解码单元具体用于:对所述第二偏移量矩阵进行解码,获得用于表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量;

分别获取表示所述至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息;

分别根据至少一个目标对象在未来时间段M’内的行走行为的位移向量对应的行走行为信息,获取至少一个目标对象在未来时间段M’内的行走行为预测信息。

50.根据权利要求40所述的装置,其特征在于,还包括:

网络训练单元,用于对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

51.根据权利要求50所述的装置,其特征在于,所述网络训练单元具体用于:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

52.根据权利要求41所述的装置,其特征在于,还包括:

网络训练单元,用于对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

53.根据权利要求52所述的装置,其特征在于,所述网络训练单元具体用于:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

54.根据权利要求44所述的装置,其特征在于,还包括:

网络训练单元,用于对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

55.根据权利要求54所述的装置,其特征在于,所述网络训练单元具体用于:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

56.根据权利要求45所述的装置,其特征在于,还包括:

网络训练单元,用于对初始CNN进行网络训练,获得所述CNN,所述初始CNN包括:初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元。

57.根据权利要求56所述的装置,其特征在于,所述网络训练单元具体用于:依次对初始第一子CNN、初始第二子CNN、初始第一池化单元和初始第二池化单元、初始按位相加单元进行迭代训练,在当前训练单元的训练结果满足预定收敛条件时对下一单元进行迭代训练。

58.一种数据处理装置,其特征在于,包括权利要求34至57任意一项所述的行走行为的预测装置。

59.根据权利要求58所述的装置,其特征在于,所述数据处理装置包括进阶精简指令集机器ARM、中央处理单元CPU或图形处理单元GPU。

60.一种电子设备,其特征在于,设置有权利要求58或59所述的数据处理装置。

61.一种计算机设备,其特征在于,包括:

存储器,存储可执行指令;

一个或多个处理器,与存储器通信以执行可执行指令从而完成权利要求1至33任意一项所述的行走行为的预测方法对应的操作。

62.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时用于完成权利要求1至33任意一项所述的行走行为的预测方法对应的操作。