利索能及
我要发布
收藏
专利号: 2019101998893
申请人: 百度在线网络技术(北京)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种物体的类别识别方法,其特征在于,包括以下步骤:获取操作物体前的第一物体图像,以及操作所述物体后的第二物体图像;

对所述第一物体图像和所述第二物体图像分别进行特征提取,得到所述第一物体图像的第一特征图像,以及所述第二物体图像的第二特征图像;

根据所述第一特征图像和所述第二特征图像进行差分,得到差分特征图像;

根据所述差分特征图像的图像特征进行所述物体的类别识别。

2.根据权利要求1所述的物体的类别识别方法,其特征在于,所述获取操作物体前的第一物体图像,以及操作所述物体后的第二物体图像,包括:获取在用户操作所述物体前后采集到的第一原始图像和第二原始图像;

将所述第一原始图像和所述第二原始图像进行比对,以确定在所述用户操作所述物体前后存在变化的变化区域;

将所述第一原始图像中的所述变化区域确定为所述第一物体图像;

将所述第二原始图像中的所述变化区域确定为所述第二物体图像。

3.根据权利要求1所述的类别识别方法,其特征在于,所述类别识别方法是基于神经网络模型实现的,所述对所述第一物体图像和所述第二物体图像分别进行特征提取,得到所述第一物体图像的第一特征图像,以及所述第二物体图像的第二特征图像,包括:将所述第一物体图像和所述第二物体图像分别输入神经网络模型中的特征提取层,得到所述第一物体图像的第一特征图像,以及所述第二物体图像的第二特征图像;

其中,特征图像携带有所述物体的形状特征、尺寸特征、纹理特征、颜色特征、图案特征、位置特征中的一个或多个。

4.根据权利要求3所述的类别识别方法,其特征在于,所述根据所述第一特征图像和所述第二特征图像进行差分,得到差分特征图像,包括:将所述第一特征图像和第二特征图像输入所述神经网络模型的差分层,得到差分特征图像。

5.根据权利要求4所述的类别识别方法,其特征在于,所述差分层,包括用于指示第一特征图像权重的第一差分参数,和指示第二特征图像权重的第二差分参数,所述将所述第一特征图像和第二特征图像输入所述神经网络模型的差分层,得到差分特征图像,包括:根据所述第一差分参数和所述第二差分参数,对所述第一特征图像中的每一个特征值和所述第二特征图像中的每一个特征值进行加权求和,得到差分特征图像;

其中,所述第一差分参数和所述第二差分参数是对神经网络模型进行训练确定的。

6.根据权利要求3-5中任一所述的类别识别方法,其特征在于,所述根据所述差分特征图像的图像特征进行物体的类别识别之前,包括:将所述差分特征图像输入所述神经网络模型的差分特征提取层,以对获取得到的差分特征进行降维,确定用于指示所述物体类别的所述图像特征。

7.根据权利要求3-5任一所述的类别识别方法,其特征在于,对所述多层的神经网络模型进行训练包括:获取样本对图像集,其中,每一个样本对包含操作物体前的所述第一物体图像,和操作物体后的所述第二物体图像;

对所述样本对图像集中的每个样本对图像进行标注处理,以确定每个样本对图像中实际被操作物体的类别;

将所述每个样本对图像输入所述神经网络模型,以获取所述神经网络模型输出的预测被操作物体的类别;

根据所述预测被操作物体的类别与所述标注的实际被操作物体的类别之间的差异,对所述神经网络模型进行训练。

8.一种物体的类别识别装置,其特征在于,包括:

获取模块,用于获取操作物体前的第一物体图像,以及操作所述物体后的第二物体图像;

第一提取模块,用于对所述第一物体图像和所述第二物体图像分别进行特征提取,得到所述第一物体图像的第一特征图像,以及所述第二物体图像的第二特征图像;

差分模块,用于根据所述第一特征图像和所述第二特征图像进行差分,得到差分特征图像;

识别模块,用于根据所述差分特征图像的图像特征进行所述物体的类别识别。

9.根据权利要求8所述的物体的类别识别装置,其特征在于,所述获取模块,具体用于:获取在用户操作所述物体前后采集到的第一原始图像和第二原始图像;

将所述第一原始图像和所述第二原始图像进行比对,以确定在所述用户操作所述物体前后存在变化的变化区域;

将所述第一原始图像中的所述变化区域确定为所述第一物体图像;

将所述第一原始图像中的所述变化区域确定为所述第二物体图像。

10.根据权利要求8所述的类别识别装置,其特征在于,所述类别识别方法是基于神经网络模型实现的,所述第一提取模块,具体用于:将所述第一物体图像和所述第二物体图像分别输入神经网络模型中的特征提取层,得到所述第一物体图像的第一特征图像,以及所述第二物体图像的第二特征图像;

其中,特征图像携带有所述物体的形状特征、尺寸特征、纹理特征、颜色特征、图案特征、位置特征中的一个或多个。

11.根据权利要求10所述的类别识别装置,其特征在于,所述差分模块,具体用于:将所述第一特征图像和第二特征图像输入所述神经网络模型的差分层,得到差分特征图像。

12.根据权利要求11所述的类别识别装置,其特征在于,所述差分层,包括用于指示第一特征图像权重的第一差分参数,和指示第二特征图像权重的第二差分参数,所述差分模块,具体用于:根据所述第一差分参数和所述第二差分参数,对所述第一特征图像中的每一个特征值和所述第二特征图像中的每一个特征值进行加权求和,得到差分特征图像;

其中,所述第一差分参数和所述第二差分参数是对神经网络模型进行训练确定的。

13.根据权利要求10-12中任一所述的类别识别装置,其特征在于,所述装置,还包括:第二提取模块,将所述差分特征图像输入所述神经网络模型的差分特征提取层,以对所述差分特征图像中携带的差分特征进行降维,确定用于指示所述物体类别的所述图像特征。

14.根据权利要求10-12任一所述的类别识别装置,其特征在于,所述装置,还包括:获取模块,用于获取样本对图像集,其中,每一个样本对包含操作物体前的所述第一物体图像,和操作物体后的所述第二物体图像;

标注模块,用于对所述样本对图像集中的每个样本对图像进行标注处理,以确定每个样本对图像中实际被操作物体的类别;

预测模块,用于将所述每个样本对图像输入所述神经网络模型,以获取所述神经网络模型输出的预测被操作物体的类别;

训练模块,根据所述预测被操作物体的类别与所述标注的实际被操作物体的类别之间的差异,对所述神经网络模型进行训练。

15.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-7中任一所述的物体的类别识别方法。

16.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的物体的类别识别方法。