利索能及
我要发布
收藏
专利号: 2019101998906
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种物体的类别识别方法,其特征在于,包括以下步骤:根据操作物体前采集的第一物体图像,以及操作物体后采集的第二物体图像,确定呈现有被操作物体的局部图;

根据所述局部图,对操作物体过程中采集的多帧连续图像进行跟踪,确定所述多帧连续图像对应的跟踪区域;

对所述多帧连续图像对应的跟踪区域,进行物体类别的识别。

2.根据权利要求1所述的类别识别方法,其特征在于,所述根据所述局部图,对操作物体过程中采集的多帧连续图像进行跟踪,确定所述多帧连续图像对应的跟踪区域之前,还包括:对所述局部图进行物体类别的识别;

若识别得到的物体类别的置信度低于预设阈值,获取所述多帧连续图像。

3.根据权利要求2所述的类别识别方法,其特征在于,所述获取所述多帧连续图像,包括:确定在操作物体过程中对用户动作进行监测得到的动作类型;

根据所述动作类型,获取呈现有用户动作使得被操作物体移位的多帧连续图像。

4.根据权利要求3所述的类别识别方法,其特征在于,所述根据所述动作类型,获取呈现有用户动作使得操作物体移位的多帧连续图像,包括:若所述动作类型是放下,则获取监测到用户动作的时刻之前采集的多帧连续图像;

若所述动作类型是取走,则获取监测到用户动作的时刻之后采集的多帧连续图像。

5.根据权利要求1所述的类别识别方法,其特征在于,所述根据操作物体前采集的第一物体图像,以及操作物体后采集的第二物体图像,确定呈现有被操作物体的局部图,包括:将所述第一物体图像和所述第二物体图像进行比对,以确定存在差异的差异区域;

将所述第一物体图像中的所述差异区域确定为所述第一候选图像;

将所述第二物体图像中的所述差异区域确定为所述第二候选图像;

从所述第一候选图像和所述第二候选图像中选取呈现有所述被操作物体的图像作为所述局部图。

6.根据权利要求1-5任一所述的类别识别方法,其特征在于,所述根据所述局部图,对操作物体过程中采集的多帧连续图像进行跟踪,确定所述多帧连续图像对应的跟踪区域,包括:针对每一帧连续图像,将相应连续图像中各区域与所述局部图匹配,以从相应连续图像中,确定与所述局部图匹配度大于阈值的跟踪区域。

7.根据权利要求1-5任一所述的类别识别方法,其特征在于,所述对所述多帧连续图像对应的跟踪区域,进行物体类别的识别,包括:对所述多帧连续图像对应的跟踪区域进行特征提取,得到区域特征;

对所述多帧连续图像对应的跟踪区域的区域特征,进行加权求和得到目标区域特征;

根据所述目标区域特征进行物体类别的识别。

8.一种物体的类别识别装置,其特征在于,包括:确定模块,用于根据操作物体前采集的第一物体图像,以及操作物体后采集的第二物体图像,确定呈现有被操作物体的局部图;

跟踪模块,用于根据所述局部图,对操作物体过程中采集的多帧连续图像进行跟踪,确定所述多帧连续图像对应的跟踪区域;

第一识别模块,用于对所述多帧连续图像对应的跟踪区域,进行物体类别的识别。

9.根据权利要求8所述的类别识别装置,其特征在于,所述装置,还包括:第二识别模块,用于对所述局部图进行物体类别的识别;

获取模块,用于若识别得到的物体类别的置信度低于预设阈值,获取所述多帧连续图像。

10.根据权利要求9所述的类别识别装置,其特征在于,所述获取模块,具体用于:确定在操作物体过程中对用户动作进行监测得到的动作类型;

根据所述动作类型,获取呈现有用户动作使得被操作物体移位的多帧连续图像。

11.根据权利要求10所述的类别识别装置,其特征在于,所述获取模块,具体还用于:若所述动作类型是放下,则获取监测到用户动作的时刻之前采集的多帧连续图像;

若所述动作类型是取走,则获取监测到用户动作的时刻之后采集的多帧连续图像。

12.根据权利要求8所述的类别识别装置,其特征在于,所述确定模块,具体用于:将所述第一物体图像和所述第二物体图像进行比对,以确定存在差异的差异区域;

将所述第一物体图像中的所述差异区域确定为所述第一候选图像;

将所述第二物体图像中的所述差异区域确定为所述第二候选图像;

从所述第一候选图像和所述第二候选图像中选取呈现有所述被操作物体的图像作为所述局部图。

13.根据权利要求8-12任一所述的类别识别装置,其特征在于,所述跟踪模块,具体用于:针对每一帧连续图像,将相应连续图像中各区域与所述局部图匹配,以从相应连续图像中,确定与所述局部图匹配度大于阈值的跟踪区域。

14.根据权利要求8-12任一所述的类别识别装置,其特征在于,所述第一识别模块,具体用于:对所述多帧连续图像对应的跟踪区域进行特征提取,得到区域特征;

对所述多帧连续图像对应的跟踪区域的区域特征,进行加权求和得到目标区域特征;

根据所述目标区域特征进行物体类别的识别。

15.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-7中任一所述的类别识别方法。

16.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的类别识别方法。