利索能及
我要发布
收藏
专利号: 2020103433927
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉的工业机器人故障检测方法,其特征在于,包括以下步骤:S1:获取工业机器人正常工作下的作业视频,并根据所述作业视频计算最长公共哈希子序列,所述最长公共哈希子序列包含多个哈希值,所述最长公共哈希子序列用于表示工业机器人的周期性动作模式,执行S2;

S2:实时采集工业机器人的工作图像,分离出所述工作图像中的工业机器人影像,形成第二作业图像,计算所述第二作业图像的哈希值,记为h1,执行S3;

S3:将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配,若匹配成功,则执行S2,若匹配失败,则检测到异常动作,控制工业机器人急停。

2.根据权利要求1所述的方法,其特征在于,所述S1具体包括以下步骤:S101:采集工业机器人正常工作下的作业视频,并以时间t为间隔时间对所述作业视频进行分帧,形成第一视频帧序列,执行S102;

S102:对所述第一视频帧序列进行图像分割,分离出所述图像中的工业机器人影像,形成第二视频帧序列,执行S103;

S103:计算所述第二视频帧序列中所有图像的哈希值,形成第一图像哈希序列,执行S104;

S104:计算所述第一图像哈希序列中的最长公共哈希子序列,所述最长公共哈希子序列用于表示工业机器人周期性动作模式。

3.根据权利要求1或2所述的方法,其特征在于,所述S3具体包括:S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记,记所述序列号的变量为qn,其中,n=1,2,3,…,n1,则依次为:q1=-1,q2=0,q3=1,q4=2,…,qn1=n1-1,执行S302;

S302:初始化序号变量,令q1=-1,执行S303;

S303:判断是否q1=-1,若是,执行S304,若否,执行S307;

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值,所述极近似值在所述最长公共哈希子序列中的顺序号记作q0,若极近似值不存在,则令q0=-1,执行S305;

S305:判断是否q0=-1,若是,则执行S309,若否,则执行S306;

S306:令q1=q0,执行S307;

S307:令q1=q1+1,执行S308;

S308:获取所述最长公共哈希子序列中序号为q1的哈希值,记为h2,若h1与h2极近似则执行S2,否则,执行S309;

S309:检测到异常动作,控制工业机器人急停。

4.根据权利要求3所述的方法,其特征在于,所述S304中极近似值的判断标准为:若hanming(h1,h2)≤5则认为h1和h2极近似且互为极近似值,其中,hanming(h1,h2)为h1和h2的汉明距离。

5.根据权利要求1或2任一所述的方法,其特征在于,所述S1为作业模式提取阶段,所述S2-S3异常动作检测阶段,所述作业模式提取阶段只进行一次;所述异常动作检测阶段持续实时分析工业机器人作业视频。

6.根据权利要求1或2所述的方法,其特征在于,采用差异哈希算法计算图像的哈希值,所述图像的哈希值为64位的二进制串或16位十六进制串。

7.根据权利要求1或2所述的方法,其特征在于,所述S2中分离工业机器人的过程为:所述假设机器人本体的颜色为Cr,I为包含工业机器人的作业图像,P为I中的任意像素,若P的颜色值在以Cr为中心的δ邻域内,则将P的颜色值设置为黑色,反之设置为白色。

8.一种基于视觉的工业机器人故障检测系统,其特征在于,包括,图像采集装置,用于采集工业机器人正常工作下的作业视频,还用于实时采集工业机器人的工作图像;

故障检测装置,用于接收所述图像采集装置采集的工业机器人正常工作下的作业视频并根据所述作业视频计算最长公共哈希子序列,所述最长公共哈希子序列包含多个哈希值,所述最长公共哈希子序列用于表示工业机器人的周期性动作模式;还用于根据所述图像采集装置采集的实时的工业机器人的工作图像,分离出所述工作图像中的工业机器人影像,形成第二作业图像,计算所述第二作业图像的哈希值,记为h1,将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配,检测工业机器人是否动作异常,并在检测到工业机器人动作异常时发送急停控制信号;

控制器,用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。

9.根据权利要求8所述的系统,其特征在于,所述故障检测装置包括周期性动作模式建立单元、图像分割单元、计算单元及异常动作检测单元;

所述周期性动作模式建立单元用于以时间t为间隔时间对所述作业视频进行分帧,形成第一视频帧序列;

所述图像分割单元用于对所述第一视频帧序列的图像进行图像分割,分离出工业机器人影像,形成第二视频帧序列;

所述计算单元用于计算所述第二视频帧序列中所有图像的哈希值,形成第一图像哈希序列,并计算所述第一图像哈希序列中的最长公共哈希子序列,所述最长公共哈希子序列用于表示工业机器人周期性动作模式;

所述图像分割单元还用于对实时采集工业机器人的工作图像进行图像分割,分离出工业机器人影像,形成第二作业图像并发送至所述计算单元;

所述计算单元还用于计算所述第二作业图像的哈希值,记为h1;

所述异常动作检测单元用于将所述哈希值h1与所述最长公共哈希子序列进行顺序极近似值匹配,检测工业机器人是否动作异常,并在检测到工业机器人动作异常时发送急停控制信号。

10.根据权利要求8或9所述的系统,其特征在于,所述异故障检测装置检测工业机器人是否动作异常包括以下步骤;

S300:对实时采集的工业机器人的工作图像,分离出所述工作图像中的工业机器人影像,形成第二作业图像,计算所述第二作业图像的哈希值,记为h1,执行S301;

S301:将所述最长公共哈希子序列中的哈希值依次进行序列号标记,记所述序列号的变量为qn,其中,n=1,2,3,…,n1,则依次为:q1=-1,q2=0,q3=1,q4=2,…,qn1=n1-1,执行S302;

S302:初始化序号变量,令q1=-1,执行S303;

S303:判断是否q1=-1,若是,执行S304,若否,执行S307;

S304:在所述最长公共哈希子序列中查找哈希值h1的极近似值,所述极近似值在所述最长公共哈希子序列中的顺序号记作q0,若极近似值不存在,则令q0=-1,执行S305;

S305:判断是否q0=-1,若是,则执行S309,若否,则执行S306;

S306:令q1=q0,执行S307;

S307:令q1=q1+1,执行S308;

S308:获取所述最长公共哈希子序列中序号为q1的哈希值,若h1与h2极近似则执行S300,否则,执行S309;

S309:检测到异常动作,控制工业机器人急停。