利索能及
我要发布
收藏
专利号: 2019105334336
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-07
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像处理方法,其特征在于,所述方法包括:根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量,确定至少一个第一稠密光流;其中,所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值;

基于所述至少一个第一稠密光流,确定所述目标对象的第一可活动位置,其中,所述目标对象的可活动部件包含所述第一可活动位置。

2.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个第一稠密光流,确定所述目标对象的第一可活动位置,包括:基于所述至少一个第一稠密光流,确定所述目标对象中的多个位置中每个位置的光流方差;

基于所述多个位置中每个位置的光流方差,确定所述目标对象的所述第一可活动位置。

3.根据权利要求2所述的方法,其特征在于,所述基于所述多个位置中每个位置的光流方差,确定所述目标对象的第一可活动位置,包括:对所述多个位置中每个位置的所述光流方差进行归一化处理,获得所述每个位置的归一化光流方差;

将所述多个位置中归一化光流方差的最大值在所述第一静态图像中所对应的位置作为所述目标对象的所述第一可活动位置。

4.根据权利要求1‑3任一项所述的方法,其特征在于,所述第一稀疏光流包含所述已知可活动位置的坐标信息和所述已知可活动位置的目标速度。

5.根据权利要求4所述的方法,其特征在于,如果所述已知可活动位置集合中包含的所述已知可活动位置的个数为0,则所述第一稀疏光流为空。

6.根据权利要求1‑3任一项所述的方法,其特征在于,所述方法还包括:将所述第一可活动位置添加到所述已知可活动位置集合中,进行下一循环预测,得到所述目标对象的第二可活动位置。

7.根据权利要求6所述的方法,其特征在于,所述将所述第一可活动位置添加到所述已知可活动位置集合中,包括:

响应于所述第一可活动位置对应的光流方差低于预设阈值,将所述第一可活动位置添加到所述已知可活动位置集合中。

8.根据权利要求1‑3任一项所述的方法,其特征在于,所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量,确定至少一个第一稠密光流之前,所述方法还包括:

对所述第一静态图像和/或所述第一稀疏光流进行降维处理。

9.根据权利要求1‑3任一项所述的方法,其特征在于,所述根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量,确定至少一个第一稠密光流之前,所述方法还包括:

基于预设分布进行随机采样,获得所述至少一个第一随机向量。

10.根据权利要求1‑3任一项所述的方法,其特征在于,所述基于所述至少一个第一稠密光流,确定所述目标对象的第一可活动位置之后,所述方法还包括:获取所述目标对象的可活动部件中每个可活动位置的预测速度;

基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像,得到目标图像。

11.根据权利要求10所述的方法,其特征在于,所述基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像,得到目标图像,包括:根据所述第二静态图像、所述可活动部件中每个可活动位置的预测速度对应的第二稀疏光流和第二随机向量,得到第二稠密光流;

基于所述第二稠密光流和所述第二静态图像,得到所述目标图像。

12.根据权利要求10所述的方法,其特征在于,所述获取所述目标对象的可活动部件中每个可活动位置的预测速度,包括:建立用于对所述可活动部件进行运动预测的速度分布模型;

基于所述速度分布模型,对所述可活动部件的每个可活动位置进行抽样,获得所述第一静态图像每个可活动位置的预测速度。

13.一种神经网络训练方法,其特征在于,所述方法包括:获取第一稠密光流样本;

根据样本图像、所述第一稠密光流样本和从所述第一稠密光流样本中抽样得到的第一稀疏光流样本,确定预设分布参数;

将所述样本图像、所述第一稀疏光流样本和基于所述预设分布参数抽样得到的随机向量输入所述神经网络,获得所述神经网络输出的第二稠密光流样本;

基于所述第一稠密光流样本和所述第二稠密光流样本,调整所述神经网络的网络参数值。

14.根据权利要求13所述的方法,其特征在于,所述预设分布参数包括高斯分布的均值和方差中的至少一项。

15.一种图像处理装置,其特征在于,所述装置包括:第一确定模块,用于根据包含目标对象的第一静态图像、第一稀疏光流和至少一个第一随机向量,确定至少一个第一稠密光流;其中,所述第一稀疏光流用于使得所述目标对象的已知可活动位置集合中的已知可活动位置在所述第一稠密光流中的速度低于第一数值;

第二确定模块,用于基于所述至少一个第一稠密光流,确定所述目标对象的第一可活动位置,其中,所述目标对象的可活动部件包含所述第一可活动位置。

16.根据权利要求15所述的装置,其特征在于,所述第二确定模块包括:第一确定子模块,用于基于所述至少一个第一稠密光流,确定所述目标对象中的多个位置中每个位置的光流方差;

第二确定子模块,用于基于所述多个位置中每个位置的光流方差,确定所述目标对象的所述第一可活动位置。

17.根据权利要求16所述的装置,其特征在于,所述第二确定子模块包括:处理单元,用于对所述多个位置中每个位置的所述光流方差进行归一化处理,获得所述每个位置的归一化光流方差;

确定单元,用于将所述多个位置中归一化光流方差的最大值在所述第一静态图像中所对应的位置作为所述目标对象的所述第一可活动位置。

18.根据权利要求15‑17任一项所述的装置,其特征在于,所述第一稀疏光流包含所述已知可活动位置的坐标信息和所述已知可活动位置的目标速度。

19.根据权利要求18所述的装置,其特征在于,如果所述已知可活动位置集合中包含的所述已知可活动位置的个数为0,则所述第一稀疏光流为空。

20.根据权利要求15‑17任一项所述的装置,其特征在于,所述装置还包括:第三确定模块,用于将所述第一可活动位置添加到所述已知可活动位置集合中,进行下一循环预测,得到所述目标对象的第二可活动位置。

21.根据权利要求20所述的装置,其特征在于,所述第三确定模块包括:执行子模块,用于响应于所述第一可活动位置对应的光流方差低于预设阈值,将所述第一可活动位置添加到所述已知可活动位置集合中。

22.根据权利要求15‑17任一项所述的装置,其特征在于,所述装置还包括:处理模块,用于对所述第一静态图像和/或所述第一稀疏光流进行降维处理。

23.根据权利要求15‑17任一项所述的装置,其特征在于,所述装置还包括:第一获取模块,用于基于预设分布进行随机采样,获得所述至少一个第一随机向量。

24.根据权利要求15‑17任一项所述的装置,其特征在于,所述装置还包括:第二获取模块,用于获取所述目标对象的可活动部件中每个可活动位置的预测速度;

第四确定模块,用于基于所述可活动部件中每个可活动位置的预测速度和包括所述目标对象的第二静态图像,得到目标图像。

25.根据权利要求24所述的装置,其特征在于,所述第四确定模块包括:第一生成子模块,用于根据所述第二静态图像、所述可活动部件中每个可活动位置的预测速度对应的第二稀疏光流和第二随机向量,得到第二稠密光流;

第二生成子模块,用于基于所述第二稠密光流和所述第二静态图像,得到所述目标图像。

26.根据权利要求24所述的装置,其特征在于,所述第二获取模块包括:模型建立子模块,用于建立用于对所述可活动部件进行运动预测的速度分布模型;

获取子模块,用于基于所述速度分布模型,对所述可活动部件的每个可活动位置进行抽样,获得所述每个可活动位置的预测速度。

27.一种神经网络训练装置,其特征在于,所述装置包括:第三获取模块,用于获取第一稠密光流样本;

第五确定模块,用于根据样本图像、所述第一稠密光流样本和从所述第一稠密光流样本中抽样得到的第一稀疏光流样本,确定预设分布参数;

第四获取模块,用于将所述样本图像、所述第一稀疏光流样本和基于所述预设分布参数抽样得到的随机向量输入所述神经网络,获得所述神经网络输出的第二稠密光流样本;

训练模块,用于基于所述第一稠密光流样本和所述第二稠密光流样本,调整所述神经网络的网络参数值。

28.根据权利要求27所述的装置,其特征在于,所述预设分布参数包括高斯分布的均值和方差中的至少一项。

29.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至12任一所述的图像处理方法。

30.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求13或14所述的神经网络训练方法。

31.一种图像处理装置,其特征在于,所述装置包括:处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求1至12中任一项所述的图像处理方法。

32.一种神经网络训练装置,其特征在于,所述装置包括:处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求13或

14所述的神经网络训练方法。