利索能及
我要发布
收藏
专利号: 2024108185654
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于图像处理技术的线缆盘具自动堆放系统,其特征在于,包括数据收集与处理模块(100)、数据分析模块(200)、综合分析模块(300)和决策模块(400),其中:所述数据收集与处理模块(100)收集线缆盘踞图像和堆放区域图像,并利用高斯滤波对线缆盘踞图像和堆放区域图像进行去噪处理;

所述数据收集与处理模块(100)利用高斯滤波通过对邻域像素加权平均来减小图像的噪声,使用高斯函数作为权重分配,遍历图像中的每个像素,用邻域像素的加权和来代替当前像素的值;

所述数据分析模块(200)根据所述线缆盘踞图像,进行目标检测结果的计算,其中目标检测结果包括线缆盘踞的轮廓和形状以及线缆盘踞的尺寸和位置;根据所述堆放区域图像计算堆放区域空闲位置;

所述数据分析模块(200)包括线缆盘踞图像分析单元(201),所述线缆盘踞图像分析单元(201)根据线缆盘踞图像,进行线缆盘踞的轮廓和形状以及线缆盘踞的尺寸和位置计算,具体计算过程包括:通过计算图像每个像素的灰度值将线缆盘具图像转换为灰度线缆盘具图像;

利用边缘检测提取灰度线缆盘具图像的边缘,生成线缆盘具边缘图像;

使用轮廓检测算法提取线缆盘具边缘图像中所有的轮廓,作为线缆盘踞的轮廓;

根据线缆盘踞的轮廓,计算外接矩形,外接矩形表示为左上角坐标及宽度、高度和深度;使用摄像头的标定参数,将像素单位转换为实际单位,通过将外接矩形中的宽度、高度和深度转换为实际宽度、实际高度和实际深度,将实际宽度、实际高度和实际深度作为线缆盘踞的尺寸;

根据线缆盘踞的尺寸,计算线缆盘踞的形状特征;

计算线缆盘具的中心位置,作为线缆盘具的位置,中心位置的计算公式为:中心位置X=左上角X坐标+宽度的一半;中心位置Y=左上角Y坐标+高度的一半;中心位置Z=左上角Z坐标+深度的一半;

所述数据分析模块(200)包括堆放区域图像分析单元(202),所述堆放区域图像分析单元(202)根据所述堆放区域图像计算堆放区域空闲位置,具体包括:将堆放区域图像转换为灰度图像,使用边缘检测提取图像中的边缘,从边缘检测后的图像中提取所有的轮廓,作为堆放区域轮廓;

将堆放区域轮廓在堆放区域图像上进行标记,生成已占用区域图像;

将已占用区域图像进行形态学膨胀操作,以扩展占用区域的边界,通过图像减法得到空闲区域图像,在空闲区域图像上再次进行轮廓检测,提取空闲区域的轮廓;并计算每个空闲区域的中心位置,作为堆放区域空闲位置;

所述综合分析模块(300)根据所述线缆盘踞的轮廓和形状,计算线缆盘具的最佳抓取点;根据所述线缆盘踞的尺寸和位置以及堆放区域空闲位置计算堆放区域的最佳堆放位置;

所述决策模块(400)检测所述线缆盘具的最佳抓取点是否在所述线缆盘踞的尺寸和位置之内,其中:若线缆盘具的最佳抓取点不在所述线缆盘踞的尺寸和位置之内,则将所述数据收集与处理模块(100)中的高斯滤波修改为双边滤波,以此进行优化处理;

若线缆盘具的最佳抓取点在所述线缆盘踞的尺寸和位置之内,则根据所述线缆盘具的最佳抓取点和堆放区域的最佳堆放位置,计算得出机械手的控制指令。

2.根据权利要求1所述的基于图像处理技术的线缆盘具自动堆放系统,其特征在于,所述综合分析模块(300)包括抓取点分析单元(301),所述抓取点分析单元(301)计算线缆盘具的最佳抓取点,具体包括:从线缆盘踞的轮廓中提取关键点,通过使用尺度不变特征变换算法来提取关键点;

根据线缆盘具的形状特征,确定其几何特性;

计算线缆盘具的重心,通过获取线缆盘踞的轮廓上的所有点的坐标,计算重心坐标,其中重心X为所有点的x坐标之和除以/x坐标个数,重心Y为所有点的y坐标之和除以/y坐标个数,重心Z=所有点的z坐标之和/z坐标个数;

将线缆盘踞的轮廓分成若干小区域,计算每个区域的面积和重心,分析每个小区域的面积分布和重心位置,选择质量分布均匀的区域,通过比较各区域的面积和重心,确保抓取点所在区域的质量分布均匀;

选择靠近边缘的点作为候选抓取点,轮廓上的点即为边缘点;

力矩分析用于选择力矩最小的候选抓取点,力矩公式为力矩=力×力臂长度,其中力臂长度是候选抓取点到重心的距离,力是抓取时的作用力;

选择力矩最小的点,通过计算每个候选抓取点到重心的距离,选择力矩最小的候选抓取点作为线缆盘具的最佳抓取点。

3.根据权利要求2所述的基于图像处理技术的线缆盘具自动堆放系统,其特征在于,所述综合分析模块(300)包括堆放位置分析单元(302),所述堆放位置分析单元(302)根据线缆盘踞的尺寸和位置以及堆放区域空闲位置计算堆放区域的最佳堆放位置,具体包括:根据堆放区域空闲位置,获取堆放区域内所有空闲位置的坐标和尺寸;

根据线缆盘具的尺寸筛选出适合的空闲位置,通过过滤掉线缆盘具的尺寸小于堆放区域空闲位置的尺寸筛选出适合的空闲位置;

在堆放区域空闲位置中寻找线缆盘具尺寸最匹配的区域,通过计算堆放区域空闲位置与线缆盘具尺寸的差异,选择尺寸差异最小的堆放区域空闲位置,作为堆放区域的最佳堆放位置。

4.根据权利要求1所述的基于图像处理技术的线缆盘具自动堆放系统,其特征在于,所述决策模块(400)包括检测单元(401),所述检测单元(401)检测线缆盘具的最佳抓取点是否在线缆盘踞的尺寸和位置之内,检测过程具体包括:根据线缆盘踞的尺寸和位置计算线缆盘具的最小和最大坐标,其中:最小x坐标为x_min=x;最大x坐标为x_max=x+l;最小y坐标为y_min=y;最大y坐标为y_max=y+w;最小z坐标为z_min=z;最大z坐标为z_max=z+h;其中(x,y,z)为线缆盘踞的位置坐标,(l,w,h)为线缆盘踞的尺寸坐标;

线缆盘具的最佳抓取点的坐标为(x_g,y_g,z_g),通过检测x坐标,判断x_g是否在x_min和x_max之间;检测y坐标,判断y_g是否在y_min和y_max之间;检测z坐标,判断z_g是否在z_min和z_max之间;其中:若x、y和z坐标都在相应的边界范围内,则线缆盘具的最佳抓取点在线缆盘具的尺寸和位置之内;

若任何一个坐标不在相应的边界范围内,则线缆盘具的最佳抓取点不在线缆盘具的尺寸和位置之内。

5.根据权利要求4所述的基于图像处理技术的线缆盘具自动堆放系统,其特征在于,所述决策模块(400)包括优化控制单元(402),所述优化控制单元(402)根据检测单元(401)的检测结果做出对应的优化和控制,具体包括:若线缆盘具的最佳抓取点不在线缆盘踞的尺寸和位置之内,则对数据收集与处理模块(100)中的高斯滤波修改为双边滤波,空间权重基于空间距离的权重分配,值权重基于像素值差异的权重分配,像素值越接近权重越大,反之权重越小,用空间权重和值权重的乘积进行归一化加权平均,以得到滤波后的像素值;

若线缆盘具的最佳抓取点在线缆盘具的尺寸和位置之内,则根据线缆盘具的最佳抓取点和堆放区域的最佳堆放位置,计算得出机械手的控制指令。