利索能及
我要发布
收藏
专利号: 2019106902859
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种垃圾分类监督方法,其特征在于,所述方法包括:获取包含待识别用户的待识别用户图像,所述待识别用户图像为行人图像;

获取包含所述待识别用户所投放的待识别垃圾的待识别垃圾图像;

将所述待识别用户图像输入用户身份识别模型,确定所述待识别用户的目标身份信息;

将所述待识别垃圾图像输入垃圾分类模型,确定所述待识别垃圾的第一类型信息;

获取所述待识别垃圾被所述待识别用户投放至的第一垃圾桶的第一标识;

根据预先存储的垃圾桶的标识与垃圾的类型信息的对应关系,确定所述第一标识对应的第二类型信息;

建立并存储所述目标身份信息、所述第一类型信息和所述第二类型信息的关联关系;

在确定所述待识别垃圾的第一类型信息之后,还包括:

根据预先存储的垃圾桶的标识与垃圾的类型信息的对应关系,确定所述第一类型信息对应的第二垃圾箱的第二标识;

向所述第二标识对应的第二垃圾箱发送开盖指令,以使所述第二垃圾箱根据所述开盖指令打开垃圾箱盖;

其中,所述将所述待识别用户图像输入用户身份识别模型,确定所述待识别用户的目标身份信息的步骤,包括:将所述待识别用户图像输入用户身份识别模型,提取所述用户身份识别模型的预设中间层输出的特征信息,作为所述待识别用户的目标特征信息;

根据预设数据库中包括的身份信息与特征信息的对应关系,确定所述目标特征信息对应的目标身份信息;

其中,所述根据预设数据库中包括的身份信息与特征信息的对应关系,确定所述目标特征信息对应的目标身份信息的步骤,包括:根据预设数据库中包括的身份信息与特征信息的对应关系,计算所述目标特征信息与所述预设数据库中每一特征信息的相似度;

选择所述预设数据库中与所述目标特征信息相似度最大的特征信息;

将所选择的特征信息对应的身份信息,作为目标身份信息;

其中,所述用户身份识别模型通过以下步骤训练得到:

获取第一训练数据,所述第一训练数据包括多张样本用户图像以及每一样本用户图像包含的样本用户的身份信息;

将多张样本用户图像分别输入第一卷积神经网络模型,得到每一样本用户图像包含的样本用户的预测身份信息;

根据所述第一训练数据包括的身份信息以及得到的预测身份信息,确定用户身份识别的第一正确率;

若所述第一正确率小于等于第一预设正确阈值,则调整第一卷积神经网络模型的参数,返回执行所述将多张样本用户图像分别输入第一卷积神经网络模型,得到每一样本用户图像包含的样本用户的预测身份信息的步骤;

若所述第一正确率大于所述第一预设正确阈值,则将当前的第一卷积神经网络模型作为用户身份识别模型;

并且,在得到所述用户身份识别模型之后,所述方法还包括:获取预先收集包括用户的多张用户图像以及每一用户图像包括的用户的身份信息;

将所述多张用户图像分别输入所述用户身份识别模型,提取所述用户身份识别模型的所述预设中间层输出的特征信息;

将所述每一用户图像包括的用户的身份信息与对应的特征信息存储至所述预设数据库。

2.根据权利要求1所述的方法,其特征在于,所述垃圾分类模型通过以下步骤训练得到:获取第二训练数据,所述第二训练数据包括多张样本垃圾图像以及每一样本垃圾图像包含的垃圾的类型信息;

将多张样本垃圾图像输入第二卷积神经网络模型,得到每一样本垃圾图像包含的垃圾的预测类型信息;

根据所述第二训练数据包括的类型信息以及得到的预测类型信息,确定垃圾类型识别的第二正确率;

若所述第二正确率小于等于第二预设正确阈值,则调整第二卷积神经网络模型的参数,返回执行所述将多张样本垃圾图像输入第二卷积神经网络模型,得到每一样本垃圾图像包含的垃圾的预测类型信息的步骤;

若所述正确率大于所述第二预设正确阈值,则将当前的第二卷积神经网络模型作为垃圾分类模型。

3.一种垃圾分类监督装置,其特征在于,所述装置用于实现如权利要求1所述方法的步骤,所述装置包括:第一获取单元,用于获取包含待识别用户的待识别用户图像,所述待识别用户图像为行人图像;

第二获取单元,用于获取包含所述待识别用户所投放的待识别垃圾的待识别垃圾图像;

第一识别单元,用于将所述待识别用户图像输入用户身份识别模型,确定所述待识别用户的目标身份信息;

第二识别单元,用于将所述待识别垃圾图像输入垃圾分类模型,确定所述待识别垃圾的第一类型信息;

第一确定单元,用于确定所述待识别垃圾被所述待识别用户投放至第一垃圾桶;

第二确定单元,用于根据预先存储的垃圾桶与垃圾的类型信息的对应关系,确定所述第一垃圾桶对应的第二类型信息;

建立单元,用于建立并存储所述目标身份信息、所述第一类型信息和所述第二类型信息的关联关系;

所述装置还包括:发送单元,用于在确定所述待识别垃圾的第一类型信息之后,根据预先存储的垃圾桶的标识与垃圾的类型信息的对应关系,确定所述第一类型信息对应的第二垃圾箱的第二标识;向所述第二标识对应的第二垃圾箱发送开盖指令,以使所述第二垃圾箱根据所述开盖指令打开垃圾箱盖;

其中,所述第一识别单元,具体用于:

将所述待识别用户图像输入用户身份识别模型,提取所述用户身份识别模型的预设中间层输出的特征信息,作为所述待识别用户的目标特征信息;

根据预设数据库中包括的身份信息与特征信息的对应关系,确定所述目标特征信息对应的目标身份信息;

根据预设数据库中包括的身份信息与特征信息的对应关系,计算所述目标特征信息与所述预设数据库中每一特征信息的相似度;

选择所述预设数据库中与所述目标特征信息相似度最大的特征信息;

将所选择的特征信息对应的身份信息,作为目标身份信息。

4.一种垃圾分类监督系统,其特征在于,所述系统用于实现如权利要求1所述方法的步骤,所述系统包括:第一摄像机、第二摄像机、安装于垃圾桶上的垃圾感应装置和服务器;

所述第一摄像机,用于采集包含待识别用户的待识别用户图像,所述待识别用户图像为行人图像,将所述待识别用户图像发送给所述服务器;

所述第二摄像机,用于采集包含所述待识别用户所投放的待识别垃圾的待识别垃圾图像,将所述待识别垃圾图像发送给所述服务器;

所述垃圾感应装置,用于检测所述待识别垃圾被所述待识别用户投放至的第一垃圾桶,并将所述第一垃圾桶的第一标识发送给所述服务器;

所述服务器,用于将所述待识别用户图像输入用户身份识别模型,确定所述待识别用户的目标身份信息;将所述待识别垃圾图像输入垃圾分类模型,确定所述待识别垃圾的第一类型信息;根据预先存储的垃圾桶的标识与垃圾的类型信息的对应关系,确定所述第一标识对应的第二类型信息;建立并存储所述目标身份信息、所述第一类型信息和所述第二类型信息的关联关系;

所述服务器,还用于根据预先存储的垃圾桶的标识与垃圾的类型信息的对应关系,确定所述第一类型信息对应的第二垃圾箱的第二标识;向所述第二标识对应的第二垃圾箱发送开盖指令;所述第二垃圾箱,用于根据所述开盖指令打开垃圾箱盖。

5.一种服务器,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1‑2任一所述的方法步骤。

6.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有能够被处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1‑2任一所述的方法步骤。