1.一种基于红外图像特征点减少物体识别图像量的方法,其特征在于:采用摄像头组对开、闭智能箱柜的行为进行视频采集,获取多帧的RBG图像和红外图像;
通过多帧的红外图像形成红外图像队列,并基于红外图像队列,低干扰或干净环境形成二值红外图像,高干扰或遮挡环境形成灰度红外图像;
在低干扰或干净环境下,用图像梯度算子提取红外图像的边缘,获取红外图像的三个极值点坐标,构造用户行为的运动轨迹数组;
在多帧的红外图像运动下,各自比较三个极值的变化方向,根据运动状态函数和运动方向一致性函数来进行用户行为的判定;
在高干扰或遮挡环境下,构建红外图像其尺度金字塔,采用Fast算法获取特征点,基于BRIEF算法描述特征子,根据帧与帧之间特征的匹配获得用户行为的运动轨迹数组;
在多帧的红外图像运动下,比较50%以上的特征点的运动方向,根据运动状态函数和运动方向一致性函数来进行用户行为的判定;
从每一个已经完成判定的用户行为队列中选择最佳的红外图像;
根据红外图像和可见光图像的对应关系,把最佳的可见光图像传入目标识别模型,进行目标检测和识别。
2.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于:所述的摄像头组包括有RGB摄像头和红外摄像头。
3.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,所述的红外图像队列通过各自的时间戳进行排序,二值红外图像的形成方法为:对红外图像队列进行灰度化,对灰度化的红外图像进行图像二值化。
4.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,在低干扰或干净环境下,用图像梯度算子提取红外图像的边缘的方法为:使用Scharr算子获取红外二值图像的边缘,使用Scharr算子对X和Y方向进行求导,求红外二值化图像的X和Y方向的梯度,把图像每一个像素求到的图像X和Y方向的梯度,取绝对值相加,获得图像的梯度,图像的梯度反应在红外图像上就是图像的边缘。
5.根据权利要求4所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于:红外图像的三个极值点坐标分别是最左边,最上边、最右边的值的纵坐标。
6.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,在高干扰或遮挡环境下,构造用户行为的运动轨迹数组的方法为:根据每张红外图像构建其尺度金字塔;
在不同尺度的红外图像上采用Fast算法检测特征点;
得到特征点后,采用BRIEF算法来计算一个特征点的描述子,给特征点添加选择不变性;
根据每一帧红外图像得到的特征点描述子特有的2进制串表示,通过汉明距离进行快速的帧与帧之间快速的特征点的匹配,便于找到下一帧红外图像相同的特征点。
7.根据权利要求5或6所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,根据运动状态函数和运动方向一致性函数来进行用户行为判定的方法为:当运动状态函数满足动作的出、入情况时,可作为用户行为的开始的判定,当运动状态函数满足动作停止条件时,该多帧红外图像的最后一帧代表该动作行为的结束,以动作开始红外图像的时间戳到动作结束红外图像的时间戳对应的帧为该行为进行分析。
8.根据权利要求7所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,根据运动状态函数和运动方向一致性函数来进行用户行为判定的方法为:在低干扰或干净环境下,记录红外图像队列的每一个帧三个极值的纵坐标,每一帧的运动数组和前一帧运动数组对应的坐标进行比对,形成运动轨迹;
当当前帧运动轨迹的三个极值坐标点中存在有两个坐标点产生的方向是一致,且与上一帧运动方向一致时,可确定用户手部运动的方向,根据用户手部运动的方向判定用户行为;
在高干扰或遮挡环境下,当后一帧图像的特征点群和前一帧图像的特征点群相比,存在50%以上的特征点运动方向一致时,可确定用户手部运动的方向,根据用户手部运动的方向判定用户行为。
9.根据权利要求8所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,在动作判定的过程中存在行为开始和行为结束判断,具体为:从用户动作为放的角度,当存在有人体热源时,开始红外图像采集,进而统计运动状态函数和运动方向一致性函数,而方向一致性数字的值大于阈值,且无法判断该帧的运动状态时,表示该行为已经结束;
从用户动作为取的角度,在低干扰或干净环境下,从无法判断行为状态到三个极值数组存在两个数组变动一致开始对动作进行判定,在高干扰或遮挡环境下,存在50%以上的特征点运动方向一致时开始对动作进行判定,方向一致性数字的值开始计数,当方向一致性数字的值大于阈值时,且红外图像上找不到人体热源时,判断为取的动作,表示该行为已经结束;
在高干扰或遮挡环境下,动作判定的过程中行为结束判定有个附加条件,当后一帧图像的特征点群和前一帧图像的特征点群相比,存在80%的特征点不移动时,或红外图像存在非常少的特征点,造成无法匹配或匹配率过低时,表示该动作已经结束,完成一个动作的判别。
10.根据权利要求1所述的基于红外图像特征点减少物体识别图像量的方法,其特征在于,最佳的红外图像的选择方法为:在低干扰或干净环境下,通过最小化三个极值点与红外图像尺度的关系,来获得最佳红外图像的时间戳,选择每一个行为分别左角点、上角点、右角点的纵坐标与红外图像二分之一高相差最小的三张红外图像供于后端的目标识别使用;
在任何环境中,最佳红外图像选择公式为其中i表示红外图像对应的帧数图像的时间戳,h为红外图像的高, 为最佳的红外图像, 、 、 为与红外图像二分之一高相差最小的三张红外图像, 表示第i帧红外图像边缘最左端的纵坐标, 表示第i帧红外图像边缘最顶端的纵坐标,表示第i帧红外图像边缘最右端的纵坐标, 为所有特征点的统称,表示第i帧红外图像角点的纵坐标。