利索能及
我要发布
收藏
专利号: 2020107592091
申请人: 广州微林软件有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种箱柜食物智能管理系统,用于存储食物的箱柜,其特征在于,包括有食物识别系统、用户APP端、运营管理系统,其中:所述食物识别系统,包括有识别机构、视频流服务器、识别服务器和存储服务器,根据采集的食物进出信息进行分析判断,将分析判断所得到的食物数据信息进行存储;

所述用户APP端,包括有设备绑定模块、分区分类管理模块、食物管理模块、店铺商品模块、菜单食谱模块和数据处理模块,用于接收食物识别系统所存储的食物数据信息,并根据食物数据信息进行管理维护,以及提供线上食物购买服务;

所述运营管理系统,包括有基础管理模块、用户管理模块、设备管理模块、店铺管理模块、消息管理模块和广告管理模块,用于店铺的线上运营管理。

2.如权利要求1所述的一种箱柜食物智能管理系统,其特征在于:所述的箱柜为箱柜、冷柜、食物柜、置物柜中的一种。

3.一种箱柜食物智能管理方法,其特征在于,应用如权利要求1所述的箱柜食物智能管理系统,包括如下步骤:

1)进行图像的获取,通过摄像头对准箱柜门前面区域,拍摄物品放入或者取出箱柜的画面,摄像头个数至少一个,且每一个摄像头都有一个ID,绑定本台箱柜,并与远程服务器连接;

2)进行图像的传输及分配,每台箱柜获取的图像需要上传至视频流服务器,由视频流服务器分配至识别服务器;

3)进行食物的识别,由识别服务器加载的识别模型识别出相应图片,如果含有目标,那么保留当前箱柜的ID,图片信息,开启食物追踪模式;

4)进行食物的追踪,通过连续多帧中食物的移动趋势,判定食物所处状态,其中当模型识别出箱柜门开启后,当食物靠近箱柜可以判定是放食物,食物远离箱柜可以判定是取食物;

5)进行食物的管理,识别服务器,得出食物状态后,根据不同的状态做出反馈,当判断是放食物时,将食物的相关数据发送给存储服务器,存储,更新箱柜食物信息,并将结果同时发送给终端显示;当判断是取食物时,则将该食物的相关数据发送给存储服务器,并接收存储服务器返回的同类型食物特征,对同类型食物比对筛选出最可能的一种食物,返回给存储服务器,存储,更新食物信息,同时将结果发送给APP显示;

6)使用户携带的智能设备中的APP与箱柜进行绑定,并从存储服务器获取该箱柜对应的设备号和分区号/分类号;

7)根据设备号、分区号/分类号对分区、分类的信息内容进行增、删、改的操作,完成后将信息发送至存储服务器进行存储;

8)访问存储服务器,根据设备号获取该设备下的所有食物信息并进行维护;

9)通过智能设备进行定位,并将位置信息发送至存储服务器,经存储服务器筛选出附近店铺信息,并根据店铺信息选择店铺和购买食品。

4.如权利要求3所述的一种箱柜食物智能管理方法,其特征在于,在步骤1)中,所述摄像头的识别处理方法如下:

1)获取摄像头视频数据:摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器,视频接收器收到信号后与摄像头建立socket连接,连接建立成功后摄像头往视频接收器发送视频数据;

2)对视频数据进行解码处理:视频接收器将获取到的视频数据发送给视频分段处理器,视频分段处理器在收到一段数据后开始一个新的线程,持续监控接下来一段时间获取到的原始视频数据,并将此段数据进行解码,并且抓取图片,每段视频首次抓取图片成功后会新建一个视频图片处理器,且将此视频放入视频图片处理器调度线程中的队列,每次抓取到的图片放入视频图片处理器中,整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕;

3)对视频图片进行处理:在服务器启动时会开启一个视频图片处理器调度线程,这个线程会去持续取出自身队列中的视频图片处理器,当取出到视频图片处理器时,会使用一个图片识别接口调用器,图片识别接口调用器提供调用图片识别接口的函数,能够对图片进行识别且返回图片处理结果,将其结果指定到一个图片识别结果处理器。

5.如权利要求4所述的一种箱柜食物智能管理方法,其特征在于,所述图片识别结果处理器的判断方法为:通过网络摄像头,拍摄并捕捉视野范围内的运动目标,分别对手掌进行标注,对手掌-手持物品进行标注,对物品进行标注,生成标注图像数据,对图像数据进行训练,用训练好的模型对目标对象进行识别,给出识别的目标位置,通过目标对象轨迹,在一帧图像中,判定目标对象是否为疑似目标,在疑似目标的连续帧图像中,通过预先设定的行为判定逻辑,对轨迹进行限定,剔除部分明显不符合行为的轨迹,最终给出不同轨迹的行为判定。

6.如权利要求5所述的一种箱柜食物智能管理方法,其特征在于,其中,用训练好的模型对目标对象进行识别,对象包括手掌A、手掌-手持物品B、物品C,给出识别的目标位置box、类别class、得分score,分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。

7.如权利要求6所述的一种箱柜食物智能管理方法,其特征在于,其中,通过目标对象轨迹,在一帧图像中,判定目标对象是否为疑似目标,判定是否包含class_A,如果不包含,认为此帧没有目标,等待下一帧的检测,如果包含class_A,则保存相关的class_A、box_A、score_A的数据,并继续去检查class_B和class_C,如果存在,则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据,通过不同的class_A与class_C目标的交并比IOUA_C来判定哪些目标是一体的,剔除错误目标,而 多组IOUA_C构成集合E(IOUA_C),通过非极大值抑制nms,去掉集合E(IOUA_C)和多个class_B的集合E(class_B)中重复的目标。

8.如权利要求7所述的一种箱柜食物智能管理方法,其特征在于,其中,在疑似目标的连续帧图像中,通过预先设定的行为判定逻辑,对轨迹进行限定,剔除部分明显不符合行为的轨迹,最终给出不同轨迹的行为判定,轨迹共有取、放、不确定三种状态,依靠当前目标boxnow中心点与前一帧的目标boxpre的位置差确认轨迹的状态,设当前帧的疑似目标集合为E(object),当前轨迹集合为E(track),趋势判定为if boxnowx>boxpre.x and boxnow.y>boxpre.y:take

if boxnow.x<boxpre.x and boxnow.y<boxpre.y:put

if(boxnow.x-boxpre.x)*(boxnow.y-boxpre.y)<0:unsure

如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致,该对象属于该轨迹,更新轨迹,如果不一致,则在E(object)中依次选择目标与E(track)的轨迹进行比较,如果都没有匹配,则将当前E(object)列为疑似轨迹加入E(track)中,当E(track)中有连续多帧都是一个趋势的话,确定该行为,并将轨迹删除。

9.如权利要求3所述的一种箱柜食物智能管理方法,其特征在于,在步骤4)中,所述食物的追踪方法为:

通过相机安装的位置确定食物的进出方向,令P(x,y)表示食物在相机中的坐标,Ppre(x,y)表示前一帧食物坐标,Pnow(x,y)表示当前帧食物坐标,Pdiff(x,y)表示两者之差,具体公式如下:Pdiff(x,y)=Pnow(x,y)-Ppre(x,y),如靠近相机认为是放食物,此时Pdiff(x,y)值为正,远离相机认为是取食物,此时Pdiff(x,y)值为负;当连续N帧中的食物的坐标Pdiff(x,y)都为正,N为算法预设值,则认为此时的状态为放食物,当连续N帧中的食物坐标Pdiff(x,y)为负,则认为此时状态为取食物。

10.如权利要求9所述的一种箱柜食物智能管理方法,其特征在于,在步骤6)中,所述的APP与箱体进行绑定的方法包括以下步骤:A01:判断app中此次登录账号有无选择展示内容的设备,登录app后会判断

SharePreferences中有无存储的设备编号,若有则可选择执行其余流程,若无则进行A02;

A02:判断次账号有无绑定过设备,访问服务端查询此账号绑定设备的列表内容数是否为0,若不为0则执行A03,若为0则执行04、05;

A03:选择要展示内容的设备,进入绑定设备列表页面,获取服务端返回的此账号对应的所有已绑定的设备,点击要选择的设备存入SharePreferences中,刷新主页面;

A04:辅助设备连接网络,根据当前手机所连接的wifi信息生成二维码,复位设备后,使其扫描此二维码,完成设备的连网操作;

A05:绑定一个新的设备,通过app中的“扫一扫”功能,获取服务端给予设备初始化的参数,获取成功后,将app与设备连接,继而进行设备的初始化设置,设置成功后将设备编号上传至服务端与账号进行关联绑定,同时将此设备存入SharePreferences,刷新主页面。