利索能及
我要发布
收藏
专利号: 2018103064200
申请人: 徐育
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于RGB-D相机的饮水机智能控制装置,其特征在于:所述基于RGB-D相机的饮水机出水智能控制装置(1)包括:RGB-D相机(2)、控制及信息储存/处理单元(3)和电源(4);电源(4)的输出端连接控制及信息储存/处理单元(3)的电源输入端,用于直接或间接为控制及信息储存/处理单元(3)和RGB-D相机(2)提供工作电源;控制及信息储存/处理单元(3)与RGB-D相机(2)电连接。

2.根据权利要求1所述的基于RGB-D相机的饮水机智能控制装置,其特征在于:RGB-D相机(2)固定安置在饮水机机体上、临近饮水机出水口;RGB-D相机(2)设置拍摄的目标区域,目标区域内包括多个位于饮水机上固定的标志点,作为建立三维坐标系标定点。

3.根据权利要求1或2所述的基于RGB-D相机的饮水机智能控制装置,其特征在于,RGB-D相机中包括彩色相机和深度相机:彩色相机拍摄RGB彩色图像,深度相机拍摄深度图像;其中的深度相机的工作原理是以下三种原理中的一种:I)结构光测量原理、II)双目视差测量原理、III)TOF飞行时间测量原理。

4.根据权利要求1所述的基于RGB-D相机的饮水机智能控制装置,其特征在于;还包括辅助照明单元(5),电源(4)为其提供工作电源;辅助照明单元(5)固定安装在目标区域上部的饮水机机体上。

5.基于RGB-D相机的饮水机智能控制方法,特征在于:包括以下步骤:

S1.建立目标区域的配准后背景模型:目标区域没有外来物体,控制及信息储存/处理单元(3)通过RGB-D相机(2)同步获得目标区域的背景彩色图像和深度图像并加以处理,将图像转换为背景点云图像,对彩色图像和深度图像进行配准,建立彩色图像像素点和深度图像深度信息之间的对应关系,从而得出彩色图像的像素位置和深度图像变换模型;控制及信息储存/处理单元(3)根据配准得出的像素位置和深度变换模型,配准方法包括:采用基于特征点匹配的配准,其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点,并对上述图像的特征点进行匹配;用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对,得到正确匹配的特征点对;根据正确匹配的特征点对的位置和深度信息,得到它们之间的对应关系,计算出这两帧图像之间的像素位置和深度变换模型,从而获得更高分辨率的配准后深度图像;

根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机(2)的参数,建立目标区域的配准后背景模型,控制及信息储存/处理单元(3)存储该配准后背景模型;

S2.提取目标区域配准后前景深度图像:目标区域放置外来物体,饮水机出水口没有出水的情况下,控制及信息储存/处理单元(3)通过RGB-D相机(2)同步实时获得目标区域的彩色图像和深度图像,对彩色图像和深度图像做噪声阈值处理、平滑处理等,进行S1步骤所述的配准,实现前景和背景分割,选择有效算法提取前景轮廓,即目标区域外来物体的轮廓,选择有效算法提取外来物体的特征点,获得外来物体诸如局部区域像素高度极点:局部区域极高点、局部区域极低点等,像素最高点、像素最低点等特征点的三维坐标信息;

S3.判断配准后前景深度图像中外来物体是否是杯子:判断依据为配准后前景深度图像中外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集:1)所述像素点子集包括所述全集合中最高像素点或局部区域像素极高点,2)所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上,窄带的宽度为dW,3)所述像素点全集合不包含所述子集中那些在xy平面上投影点落在所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值;

所述子集中的像素点包括那些在提取配准后前景深度图像过程中,运用有效算法进行消除噪声、平滑处理等手段通过数学拟合补上的奇点,奇点的像素点数量在所述子集中所占的比例不超过一定的阈值;

如果所述外来物体的配准后深度图像满足上述特征,提取的配准后前景深度图像中的外来物体则被确定为具有完整杯子口沿,具有一定深度的杯子;

控制及信息储存/处理单元(3)从杯子的配准后深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像,作为监控区域;

S4.判断杯子口沿是否对准饮水机出水口:根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数,控制及信息储存/处理单元(3)判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部,且离开闭合环边缘最近的距离超过某一预定值L;

进一步,控制及信息储存/处理单元(3)根据已知的坐标信息,通过分析运算,获得出水口和杯子口沿中心区域对准的程度, 据此对准程度,设定在不同的特定水位高度关闭饮水机出水,给杯子注入特定量的水;

S5.饮水机向杯子里注水:通过以上步骤,所述控制及信息储存/处理单元(3)确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部,且离开闭合环的边缘最近的距离超过某一预定值L,即饮水机出水口的确对准了杯子的口沿,控制及信息储存/处理单元(3)发出指令:开启饮水机出水口水流,向杯子里注水;

S6.杯子中注入的水位高度实时检测:在饮水机向杯子里注水过程中,控制及信息储存/处理单元(3)控制RGB-D相机(2)以每秒一定帧数的速度同步实时获得所述监控区域的彩色图像和深度图像,并实时对所述监控区域彩色和深度图像加以处理、配准,分析、计算出xy平面上闭合环内部点对应的配准后深度图像中的像素点在三维坐标系z坐标轴上的高度值,所述闭合环内部点对应的配准后深度图像中的像素点即为实时的杯子水面上的像素点,从而获得杯子里水位平面的实时高度值;

控制及信息储存/处理单元(3)处理、配准,分析、计算杯子中水位平面的彩色图像和深度图像过程包括:通过有效的算法滤除饮水机出水口流下的水流带来的噪声,以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素;

S7.完成用杯子取水过程:当控制及信息储存/处理单元(3)通过对RGB-D相机(2)获得的同步实时所述监控区域彩色图像和深度图像的处理、配准,分析、计算出杯子中的水位到达预设定的特定水位高度时,控制及信息储存/处理单元(3)发出指令:关闭饮水机出水,停止向杯子中注水,停止拍摄彩色图像和深度图像;

S8.更新目标区域的配准后背景模型:取水者从目标区域移走杯子后,一定时间内,没有物体或杯子再次进入目标区域,控制及信息储存/处理单元(3)启动RGB-D相机(2)同步获得多帧目标区域的彩色图像和深度图像,根据S1步骤,对目标区域再次建立更新的配准后背景模型,并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元(3)中存储的原有背景模型,作为下次取水的S1步骤:建立目标区域的配准后背景模型。

6.根据权利要求5所述的基于RGB-D相机的饮水机智能控制方法,其特征在于:控制及信息储存/处理单元(3)根据预设的所述目标区域的照明条件,判断开启辅助照明单元(5),用以改善目标区域的光照明条件,提高拍摄彩色图像和深度图像的清晰度和细节分辨能力等图像质量;开启辅助照明单元(5)后,实施步骤包括权利要求5中S1-S8,其中在S7步骤完成后,控制及信息储存/处理单元(3)发出指令,关闭辅助照明单元(5)。