利索能及
我要发布
收藏
专利号: 2021102617699
申请人: 洛伦兹(北京)科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种货架布局检测方法,其特征在于,包括:

获取图像传感器采集的目标货架的目标图像;其中,所述目标图像包括深度图像和RGB图像;

基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层,得到货架分层结果;

基于所述货架分层结果对所述目标货架进行价签检测,得到价签检测结果;

基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局;所述价签检测结果包括各货架层上的价签窗口位置;

所述目标图像还包括IR图,所述基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层,得到货架分层结果的步骤,包括:获取所述图像传感器的内参,基于所述图像传感器的内参对所述深度图像进行深度值校正;对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正,得到校正深度图像、校正RGB图像及校正IR图;基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层,得到货架分层结果;

所述货架分层结果包括各货架层的位置信息;所述基于所述货架分层结果对所述目标货架进行价签检测,得到价签检测结果的步骤,包括:基于预设尺寸的滑动窗口按照预设滑步遍历所述融合图像中的各货架层区域;获取各所述滑动窗口的颜色特征、深度特征及反射强度,基于所述颜色特征、深度特征及反射强度剔除非价签的滑动窗口;基于非极大值抑制算法,从面积重叠率大于预设阈值的各所述滑动窗口中筛选出最大概率值的价签窗口,得到所述货架层上各价签的价签窗口;计算各层货架层上所述价签窗口的中心点的纵坐标平均值,基于所述纵坐标平均值剔除非货架层上的价签窗口,得到各货架层上的价签窗口位置。

2.根据权利要求1所述的方法,其特征在于,所述基于所述图像传感器的内参对所述深度图像进行深度值校正的步骤,包括:基于所述图像传感器的内参及所述深度图像中各像素点的深度值,将所述深度图像中的各像素点转换为点云数据;

基于所述点云数据确定地面图像对应的点云数据所在平面的法向量,得到地面法向量;

基于所述地面法向量及标准坐标系确定点云数据的旋转轴和旋转角,根据所述旋转轴和所述旋转角确定罗德里格旋转矩阵;

基于所述罗德里格旋转矩阵确定所述点云数据在所述标准坐标系下的点云坐标,基于所述点云坐标确定所述深度图像各像素点校正后的深度值。

3.根据权利要求1所述的方法,其特征在于,所述图像传感器的光轴与所述目标货架成预设角度;所述对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正,得到校正深度图像、校正RGB图像及校正IR图的步骤,包括:获取深度值校正后的所述深度图像、所述RGB图像及所述IR图中所述目标货架的各角点坐标;

基于各所述角点坐标确定所述目标货架的区域图像,基于透视变换将所述区域图像中的目标货架由斜视图像校正为正视图像,得到校正深度图像、校正RGB图像及校正IR图。

4.根据权利要求1所述的方法,其特征在于,所述基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层,得到货架分层结果的步骤,包括:基于所述图像传感器的内参及外参对所述校正深度图像、所述校正RGB图像及所述校正IR图进行图像配准,得到融合图像;其中,所述融合图像包括各像素点的颜色信息、深度值及反射强度;

获取所述融合图像中各像素点的深度值;

基于所述融合图像中各像素点的深度值确定所述融合图像中各个货架层的位置信息。

5.根据权利要求1所述的方法,其特征在于,所述货架布局检测方法还包括:

基于各货架层上的价签窗口位置确定各货架层上的商品分界线;

基于各个货架层上的商品分界线生成所述目标货架的货架布局图。

6.一种货架布局检测装置,其特征在于,包括:

获取模块,用于获取图像传感器采集的目标货架的目标图像;其中,所述目标图像包括深度图像和RGB图像;

分层模块,用于基于所述深度图像中的深度信息对所述目标图像中的目标货架进行货架分层,得到货架分层结果;

检测模块,用于基于所述货架分层结果对所述目标货架进行价签检测,得到价签检测结果;

确定模块,用于基于所述货架分层结果及所述价签检测结果确定所述目标货架的货架布局;所述价签检测结果包括各货架层上的价签窗口位置;

所述目标图像还包括IR图,所述分层模块,用于获取所述图像传感器的内参,基于所述图像传感器的内参对所述深度图像进行深度值校正;对深度值校正后的所述深度图像、所述RGB图像及所述IR图中的目标货架进行形状校正,得到校正深度图像、校正RGB图像及校正IR图;基于所述校正深度图像、校正RGB图像及校正IR图对所述目标货架进行货架分层,得到货架分层结果;

所述货架分层结果包括各货架层的位置信息;所述检测模块,用于基于预设尺寸的滑动窗口按照预设滑步遍历所述融合图像中的各货架层区域;获取各所述滑动窗口的颜色特征、深度特征及反射强度,基于所述颜色特征、深度特征及反射强度剔除非价签的滑动窗口;基于非极大值抑制算法,从面积重叠率大于预设阈值的各所述滑动窗口中筛选出最大概率值的价签窗口,得到所述货架层上各价签的价签窗口;计算各层货架层上所述价签窗口的中心点的纵坐标平均值,基于所述纵坐标平均值剔除非货架层上的价签窗口,得到各货架层上的价签窗口位置。

7.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤。