1.一种物品检测方法,其特征在于,所述方法包括:
检测针对物品取放柜进行物品取放操作的操作点,所述物品取放柜的出入口具有空间定位装置及图像采集装置;
基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻;
获取所述物品取放柜在所述物品取放时刻的图像;
对所述图像进行物品的种类识别,基于种类识别结果及所述物品取放的进出属性得到初始物品信息,所述初始物品信息包括物品种类和数量;
基于所述操作点的位置信息确定所述操作点的三维空间坐标信息,基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中,得到所述操作点在所述图像中的位置,其中,所述操作点在所述图像中的位置连接形成的多边形区域为操作关联区域,位于所述操作关联区域内或与所述操作关联区域重叠的物品为取放的物品;
基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选,以确认所述取放的物品,排除非物品取放操作所取放的物品,得到针对所述物品取放柜的物品取放信息。
2.根据权利要求1所述的方法,其特征在于,
所述检测针对物品取放柜进行物品取放操作的操作点,基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻,包括:基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点,分析所述操作点的检测结果,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻;
所述获取所述物品取放柜在所述物品取放时刻的图像,包括:基于所述图像采集装置采集所述物品取放柜在所述物品取放时刻的图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中之前,还包括:获取所述图像采集装置的内参;
基于所述空间定位装置建立三维空间坐标系;
基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。
4.根据权利要求3所述的方法,其特征在于,所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系,包括:基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标;
基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵,得到所述空间定位装置与所述图像采集装置之间的空间关系。
5.根据权利要求3所述的方法,其特征在于,所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系,包括:基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标;
通过所述图像采集装置采集所述标记球在每个位置的标记球图像,在所述标记球图像中提取所述标记球的中心点,得到所述标记球的图像坐标系坐标;
基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。
6.根据权利要求1‑5任一所述的方法,其特征在于,所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中,得到所述操作点在所述图像中的位置,包括:获取所述操作点的世界坐标系;
将所述操作点空间外延,得到空间立方体;
将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影,得到所述空间立方体各个顶点在图像中的坐标,基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。
7.根据权利要求2所述的方法,其特征在于,所述空间定位装置包括红外对射单元,所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点,基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻,包括:获取所述红外对射单元发射的红外信号;
基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点,分析所述操作点的检测结果,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。
8.根据权利要求2所述的方法,其特征在于,所述空间定位装置包括深度相机;所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点,基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻,包括:基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息;
分析所述物品取放柜的出入口所在平面的深度值信息,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。
9.一种物品检测系统,其特征在于,所述物品检测系统包括:
空间定位装置,用于检测针对物品取放柜进行物品取放操作的操作点,所述物品取放柜的出入口具有空间定位装置及图像采集装置;
处理单元,用于基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻;
图像采集装置,用于获取所述物品取放柜在所述物品取放时刻的图像;
所述处理单元,还用于对所述图像进行物品的种类识别,基于种类识别结果及所述物品取放的进出属性得到初始物品信息,所述初始物品信息包括物品种类和数量;基于所述操作点的位置信息确定所述操作点的三维空间坐标信息,基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中,得到所述操作点在所述图像中的位置,其中,所述操作点在所述图像中的位置连接形成的多边形区域为操作关联区域,位于所述操作关联区域内或与所述操作关联区域重叠的物品为取放的物品;基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选,以确认所述取放的物品,排除非物品取放操作所取放的物品,得到针对所述物品取放柜的物品取放信息。
10.根据权利要求9所述的系统,其特征在于,
所述空间定位装置,用于检测针对物品取放柜进行物品取放操作的操作点;
所述处理单元,用于基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点,分析所述操作点的检测结果,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻;
所述图像采集装置,用于采集所述物品取放柜在所述物品取放时刻的图像。
11.根据权利要求10所述的系统,其特征在于,所述系统还包括:
标定单元,用于获取所述图像采集装置的内参;基于所述空间定位装置建立三维空间坐标系;基于所述图像采集装置的内参及所述三维空间坐标系确定所述空间定位装置与所述图像采集装置之间的空间关系。
12.根据权利要求11所述的系统,其特征在于,所述标定单元,用于基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标;基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵,得到所述空间定位装置与所述图像采集装置之间的空间关系。
13.根据权利要求11所述的系统,其特征在于,所述标定单元,用于基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标;通过所述图像采集装置采集所述标记球在每个位置的标记球图像,在所述标记球图像中提取所述标记球的中心点,得到所述标记球的图像坐标系坐标;基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。
14.根据权利要求9‑13任一所述的系统,其特征在于,所述处理单元,用于获取所述操作点的世界坐标系;将所述操作点空间外延,得到空间立方体;将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影,得到所述空间立方体各个顶点在图像中的坐标,基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。
15.根据权利要求10所述的系统,其特征在于,所述空间定位装置包括红外对射单元,所述处理单元,用于获取所述红外对射单元发射的红外信号;基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点,分析所述操作点的检测结果,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。
16.根据权利要求10所述的系统,其特征在于,所述空间定位装置包括深度相机;所述处理单元,用于基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息;
分析所述物品取放柜的出入口所在平面的深度值信息,基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。
17.一种物品检测系统,其特征在于,所述物品检测系统包括:空间定位装置、处理单元和图像采集装置;
所述空间定位装置及所述图像采集装置分别设置于物品取放柜的出入口,且所述空间定位装置及所述图像采集装置均与所述处理单元进行通信;
其中,所述图像采集装置为一个,一个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口;或者,所述图像采集装置为多个,多个图像采集装置安装在所述物品取放柜的不同位置,且每个图像采集装置的监测区域覆盖所述物品取放柜的出入口的一部分,所述多个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口;
所述处理单元,用于实现权利要求1‑8中任一所述的物品检测方法。