利索能及
我要发布
收藏
专利号: 2017109011185
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种目标的属性识别方法,其特征在于,所述方法包括:

获得待检测图像;

从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;

基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;

基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性,所述预设属性分类模型为预设卷积神经网络模型;

在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性的步骤之前,所述方法还包括:建立所述预设卷积神经网络模型的过程,其中,所述过程包括:

获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;

获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;

基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。

2.根据权利要求1所述的方法,其特征在于,所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤,包括:将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。

3.根据权利要求1所述的方法,其特征在于,所述预设目标检测模型为预设DPM目标检测模型;

在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤之前,所述方法还包括:建立所述预设DPM目标检测模型的过程,所述过程包括:

获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;

获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;

基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。

4.根据权利要求3所述的方法,其特征在于,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;

所述基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型的步骤,包括:将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;

将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;

将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;

当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;

当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征的步骤;

直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。

5.根据权利要求1所述的方法,其特征在于,所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤,包括:将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。

6.根据权利要求1所述的方法,其特征在于,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;

所述基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型的步骤,包括:将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;

其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;

当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;

当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;

将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;

将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;

其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;

该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;

该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;

当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;

当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征的步骤;

直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。

7.根据权利要求1-6任一项所述的方法,其特征在于,在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤之后,所述方法还包括:输出所确定的所述装饰物的属性。

8.一种目标的属性识别装置,其特征在于,所述装置包括:

第一获得模块,用于获得待检测图像;

第二获得模块,用于从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;

第一确定模块,用于基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;

第二确定模块,用于基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性,所述预设属性分类模型为预设卷积神经网络模型;

所述装置还包括第二模型建立模块;

所述第二模型建立模块,用于在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,建立所述预设卷积神经网络模型,其中,所述第二模型建立模块包括第三获得单元、第四获得单元和第二训练得到单元;

所述第三获得单元,用于获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;

所述第四获得单元,用于获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;

所述第二训练得到单元,用于基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。

9.根据权利要求8所述的装置,其特征在于,所述第一确定模块,具体用于将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。

10.根据权利要求8所述的装置,其特征在于,所述预设目标检测模型为预设DPM目标检测模型;

所述装置还包括第一模型建立模块;

所述第一模型建立模块,用于在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,建立所述预设DPM目标检测模型,其中,所述第一模型建立模块包括:第一获得单元、第二获得单元和第一训练得到单元;

所述第一获得单元,用于获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;

所述第二获得单元,用于获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;

所述第一训练得到单元,用于基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。

11.根据权利要求10所述的装置,其特征在于,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;

所述第一训练得到单元,具体用于

将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;

将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;

将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;

当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;

当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;

直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。

12.根据权利要求8所述的装置,其特征在于,所述第二确定模块,具体用于将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。

13.根据权利要求8所述的装置,其特征在于,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;

所述第二训练得到单元,具体用于

将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;

将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;

将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;

其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;

该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;

该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;

当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;

当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;

直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。

14.根据权利要求8-13任一项所述的装置,其特征在于,所述装置还包括输出模块;

所述输出模块,用于在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,输出所确定的所述装饰物的属性。

15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的计算机程序时,实现权利要求1-7任一所述的目标的属性识别方法步骤。

16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的目标的属性识别方法步骤。