利索能及
我要发布
收藏
专利号: 202010342989X
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉的工业机器人故障动作检测方法,其特征在于,包括以下步骤,S1:采集工业机器人标准作业视频,建立工业机器人标准作业模式视频帧序列;

S2:实时采集工业机器人作业图像,获取工业机器人实时动作图像;

S3:将工业机器人实时动作图像与工业机器人标准作业模式视频帧序列进行匹配,判断工业机器人标准作业模式视频帧序列中是否存在与工业机器人实时动作图像近似匹配的图像,若是,执行S2,若否,执行S4;

S4:控制工业机器人急停。

2.根据权利要求1所述的一种基于视觉的工业机器人故障动作检测方法,其特征在于,所述S1具体包括以下步骤,S11:采集工业机器人标准作业视频;

S12:对所述工业机器人标准作业视频进行T视频帧提取,形成视频帧序列;

S13:提取所述视频帧序列中包含工业机器人一个周期的动作图像的帧,建立工业机器人作业模式视频帧序列;

S14:对所述工业机器人作业模式视频帧序列进行图像分割,分离工业机器人图像,建立工业机器人标准作业模式视频帧序列。

3.根据权利要求2所述的一种基于视觉的工业机器人故障动作检测方法,其特征在于,所述S13具体包括以下步骤,S131:视频帧序列为,Ik,k∈N为图像帧,每一帧图像包含工业机器人的一个作业动作,标记工作机器人一个工作周期的起始帧Is和结束帧Ie;

S132:提取工作机器人一个工作周期的图像帧,生成工业机器人作业模式视频帧序列

4.根据权利要求2所述的一种基于视觉的工业机器人故障动作检测方法,其特征在于,所述S14中图像分割具体包括,S141:确定工业机器人的颜色Cr;

S142:I为包含工业机器人的作业图像,P为I中的任意像素,判断P的颜色值是否在Cr为中心的δ领域内,若是,执行S143,若否,执行S144;

S143:将P的颜色值设置为黑色;

S144:将P的颜色值设置为白色。

5.根据权利要求1-4任意一项所述的一种基于视觉的工业机器人故障动作检测方法,其特征在于,所述S3具体包括以下步骤:S31:初始化实时动作图像的序号变量q0=-1;

S32:查找工业机器人标准作业模式视频帧序列中是否存在与工业机器人实时动作图像近似匹配的图像,若是,执行S33,若否,执行S4;

S33:记录工业机器人标准作业模式视频帧序列中与工业机器人实时动作图像近似匹配的图像的序列号q1;

S34:若q1=-1∨q1=q0+1,则令q0=q1,其中,V为运算符号,表示或运算,执行S2。

6.根据权利要求5所述的一种基于视觉的工业机器人故障动作检测方法,其特征在于,所述S32具体包括,S321:初始化工业机器人标准作业模式视频帧序列中图像帧序号q1,q1=s;

S322:计算工业机器人实时动作图像与工业机器人标准作业模式视频帧序列中图像帧Iq1的差值,所述的图像差值计算方法为:其中,d(I1,I2)表示图像I1和图像I2之间的差值,m×n表示图像的分辨率,I1(i,j)表示图像I1的第i行、第j列像素的颜色值,I2(i,j)表示图像I2的第i行、第j列像素的颜色值;

S323:判断差值是否小于阈值D,若是,执行S325,若否,执行S324;

S324:令q1=q1+1,执行S322;

S325:判断工业机器人标准作业模式视频帧序列中序列号为q1的图像为工业机器人实时动作图像的近似匹配图像,执行S33。

7.一种基于视觉的工业机器人故障动作检测系统,其特征在于,包括,图像采集装置,用于采集工业机器人标准作业视频,还用于实时采集工业机器人实时动作图像;

故障检测装置,用于接收图像采集装置采集的工业机器人标准作业视频建立工业机器人标准作业模式视频帧序列,还用于接收图像采集装置实时采集的工业机器人实时动作图像,将工业机器人实时动作图像与工业机器人标准作业模式视频帧序列进行匹配,判断工业机器人标准作业模式视频帧序列中是否存在与工业机器人实时动作图像近似匹配的图像,判断工业机器人标准作业模式视频帧序列中不存在与工业机器人实时动作图像近似匹配的图像后发送急停控制信号;

控制器,用于故障检测装置发送的急停控制信号并控制工业机器人停止工作。

8.根据权利要求7所述的一种基于视觉的工业机器人故障动作检测系统,其特征在于,所述故障检测装置包括工业机器人标准作业视频建立单元、图像分割单元及图像匹配单元,所述工业机器人标准作业视频建立单元用于对工业机器人标准作业视频进行T视频帧提取,形成视频帧序列,还用于提取视频帧序列中包含工业机器人一个周期的动作图像的帧,建立工业机器人作业模式视频帧序列,所述工业机器人作业模式视频帧序列中每一帧包含工业机器人的一个作业动作;

所述图像分割单元用于提取机器工业机器人作业模式视频帧序列的每一帧图像中的工业机器人图像,并发送至工业机器人标准作业视频建立单元;

所述工业机器人标准作业视频建立单元用于接收图像分割单元提取的每一帧的工业机器人图像,生成工业机器人标准作业视频;

所述图像分割单元还用于提取工业机器人实时动作图像中的工业机器人图像;

所述图像匹配单元用于将工业机器人实时动作图像与工业机器人标准作业模式视频帧序列中的图像进行匹配,判断工业机器人标准作业模式视频帧序列中是否存在与工业机器人实时动作图像近似匹配的图像,并判断工业机器人标准作业模式视频帧序列中不存在与工业机器人实时动作图像近似匹配的图像后发送急停控制信号。

9.根据权利要求8所述的一种基于视觉的工业机器人故障动作检测系统,其特征在于,所述图像分割单元提取工业机器人图像包括以下步骤,S141:确定工业机器人的颜色Cr;

S142:I为包含工业机器人的作业图像,P为I中的任意像素,判断P的颜色值是否在Cr为中心的δ领域内,若是,执行S143,若否,执行S144;

S143:将P的颜色值设置为黑色;

S144:将P的颜色值设置为白色。

10.根据权利要求8所述的一种基于视觉的工业机器人故障动作检测系统,其特征在于,所述图像匹配单元还用于判断工业机器人标准作业模式视频帧序列中存在与工业机器人实时动作图像近似匹配的图像后记录工业机器人标准作业模式视频帧序列中与工业机器人实时动作图像近似匹配的图像的序列号q1。