利索能及
我要发布
收藏
专利号: 2018114240583
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种商品信息确定方法,其特征在于,所述方法包括:获取包含商品区域的第一图像;

确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;

识别所述目标区域中的商品的第一商品信息;

基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域;

所述第一商品信息包括:商品类别和每一商品类别对应的商品数量;

在所述基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息的步骤之后,所述方法还包括:将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量,与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对,得到用户所拿取商品的商品类别及商品数量;

其中,所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

2.根据权利要求1所述的方法,其特征在于,在所述识别所述目标区域中的商品的第一商品信息的步骤之前,所述方法还包括:对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域;

所述识别所述目标区域中的商品的第一商品信息的步骤,包括:从所述第一图像中的各个商品对应的第一区域中,确定位于所述目标区域的各个第一区域;

对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。

3.根据权利要求1所述的方法,其特征在于,所述识别所述目标区域中的商品的第一商品信息的步骤,包括:对所述目标区域中的各个商品进行位置识别,得到位于所述目标区域中的各个第一区域;

对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。

4.根据权利要求1‑3任一项所述的方法,其特征在于,所述确定所述第一图像所包含的目标区域的步骤,包括:获取第二图像;

针对所述第一图像中的每一区域,将该区域与所述第二图像中相应位置的区域进行差异比对,得到该区域对应的差异值;

将差异值大于预设差异值的区域确定为目标区域。

5.根据权利要求2所述的方法,其特征在于,所述对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域的步骤,包括:将所述第一图像输入预先训练好的第一神经网络,得到第一图像中的各个商品的位置信息;

针对所述第一图像中的每一商品,将该商品的位置信息所对应的区域,确定为该商品对应的第一区域;

其中,所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

6.根据权利要求2或3所述的方法,其特征在于,所述对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息的步骤,包括:将所述各个第一区域输入到预先训练好的第二神经网络,得到所述各个第一区域对应的商品类别;

基于所述各个第一区域对应的商品类别,确定所述目标区域中的商品的第一商品信息;

其中,所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

7.根据权利要求1所述的方法,其特征在于,在所述将所述第一图像中的商品的商品类别和每一类别商品的数量,与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对,得到用户所拿取商品的商品类别及商品数量的步骤之后,所述方法还包括:基于用户所拿取商品的商品类别,确定用户所拿取商品的商品价格;

基于所确定的商品价格与商品数量,计算用户所拿取商品的商品总价;

将所述商品总价发送至所述用户的用户终端。

8.一种商品信息确定装置,其特征在于,所述装置包括:第一图像获取模块,用于获取包含商品区域的第一图像;

目标区域确定模块,用于确定所述第一图像所包含的目标区域;其中,所述目标区域为所述第一图像相对于第二图像发生商品变化的区域,所述第二图像为已确定商品信息的、包含所述商品区域的图像;

商品信息识别模块,用于识别所述目标区域中的商品的第一商品信息;

商品信息确定模块,用于基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息,其中,所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息,所述参考区域为除与所述目标区域所对应区域以外的区域;

所述第一商品信息包括:商品类别和每一商品类别对应的商品数量;

所述装置还包括:

商品信息比对模块,用于在所述商品信息确定模块基于所述第一商品信息和第二商品信息,确定所述第一图像中的商品的目标商品信息之后,将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量,与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对,得到用户所拿取商品的商品类别及商品数量;

其中,所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

9.根据权利要求8所述的装置,其特征在于,所述装置还包括:第一区域确定模块,用于在所述商品信息识别模块识别所述目标区域中的商品的第一商品信息之前,对所述第一图像中的各个商品进行位置识别,得到所述第一图像中的各个商品对应的第一区域;

相应地,所述商品信息识别模块,包括:

第一区域确定单元,用于从所述第一图像中的各个商品对应的第一区域中,确定位于所述目标区域的各个第一区域;

商品类别识别单元,用于对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。

10.根据权利要求8所述的装置,其特征在于,所述商品信息识别模块,包括:第一区域确定单元,用于对所述目标区域中的各个商品进行位置识别,得到位于所述目标区域中的各个第一区域;

商品类别识别单元,用于对所述各个第一区域进行商品类别识别,并基于类别识别结果,确定所述目标区域中的商品的第一商品信息。

11.根据权利要求8‑10任一项所述的装置,其特征在于,所述目标区域确定模块,具体用于:获取第二图像;

针对所述第一图像中的每一区域,将该区域与所述第二图像中相应位置的区域进行差异比对,得到该区域对应的差异值;

将差异值大于预设差异值的区域确定为目标区域。

12.根据权利要求9所述的装置,其特征在于,所述第一区域确定模块,具体用于:将所述第一图像输入预先训练好的第一神经网络,得到第一图像中的各个商品的位置信息;

针对所述第一图像中的每一商品,将该商品的位置信息所对应的区域,确定为该商品对应的第一区域;

其中,所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

13.根据权利要求9或10所述的装置,其特征在于,所述商品类别识别单元,具体用于:将所述各个第一区域输入到预先训练好的第二神经网络,得到所述各个第一区域对应的商品类别;

基于所述各个第一区域对应的商品类别,确定所述目标区域中的商品的第一商品信息;

其中,所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

14.根据权利要求8所述的装置,其特征在于,所述装置还包括:商品价格确定模块,用于在所述商品信息比对模块得到用户所拿取商品的商品类别及商品数量之后,基于用户所拿取商品的商品类别,确定用户所拿取商品的商品价格;

商品总价计算模块,用于基于所确定的商品价格与商品数量,计算用户所拿取商品的商品总价;

商品总价发送模块,用于将所述商品总价发送至所述用户的用户终端。

15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1‑7任一所述的方法步骤。

16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑7任一所述的方法步骤。