利索能及
我要发布
收藏
专利号: 2020103429777
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于视觉的多工业机器人故障检测方法,其特征在于,包括以下步骤,S1:采集多工业机器人标准作业视频,建立多个单工业机器人标准作业模式视频帧序列A13,,执行S2;

S2:实时采集多工业机器人作业视频,建立多个单工业机器人实时作业视频帧序列A22,,所述单工业机器人实时作业视频帧序列A22包含多帧单工业机器人实时动作图像,执行S3;

S3:将单工业机器人实时动作图像与对应的单工业机器人标准作业模式视频帧序列A13中的图像进行匹配,采用两阶段法检测单工业机器人是否动作异常,若是,执行S4,若否,执行S2;

S4:控制该工业机器人急停。

2.根据权利要求1所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S1具体包括以下步骤,S11:采集多工业机器人标准作业视频,执行S12;

S12:对多工业机器人标准作业视频进行T视频帧提取,形成视频帧序列A11,执行S13;

S13:对视频帧序列A11中的图像进行图像分割,分离单工业机器人图像,获取多个单工业机器人作业视频帧序列A12;

S14:对所述单工业机器人作业视频帧序列A12进行提取,获得一个工作周期的单工业机器人标准作业模式视频帧序列A13,

3.根据权利要求2所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S13具体包括以下步骤,S131:建立并训练Mask R-CNN深度神经网络,执行S132;

S132:使用Mask R-CNN深度神经网络对视频帧序列A11中的图像进行图像分割,分离单工业机器人图像,获取多个单工业机器人作业视频帧序列A12。

4.根据权利要求3所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S132中单工业机器人图像为二值化图像,所述单工业机器人图像包含一个工业机器人的工作图像,且该工业机器人在单工业机器人图像中的位置与该工业机器人在视频帧序列A11的图像中的位置一致。

5.根据权利要求3所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S2具体包括以下步骤,S21:实时采集多工业机器人作业视频,执行S22;

S22:对多工业机器人作业视频进行T视频帧提取,形成实时作业视频帧序列A21,执行S23;

S23:对实时作业视频帧序列A21中的图像进行图像分割,分离单工业机器人图像,获取多个单工业机器人实时作业视频帧序列A22,,执行S3。

6.根据权利要求5所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S23中使用Mask R-CNN深度神经网络对实时作业视频帧序列A21中的图像进行图像分割。

7.根据权利要求1-6任意一项所述的一种基于视觉的多工业机器人故障检测方法,其特征在于,所述S3具体包括以下步骤,S31:初始化待匹配单工业机器人图像的序号I2b,b∈(1,2,......,n),令b=1,执行S32;

S32:判断单工业机器人标准作业模式视频帧序列A13,中是否存在与该待匹配单工业机器人图像近似匹配的图像,若是,执行S33,若否,执行S4;

S33:记录单工业机器人标准作业模式视频帧序列A13,中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a,更新该待匹配单工业机器人图像的序号,令I2b=I1a,执行S34;

S34:判断b是否大于2,若是,执行S35,若否,执行S36;

S35:判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续,若是,执行S36,若否,执行S4;

S36:令b=b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配,执行S32。

8.一种基于视觉的多工业机器人故障检测系统,其特征在于,包括,

图像采集装置,用于采集多工业机器人标准作业视频,还用于实时采集多工业机器人实时动作视频;

故障检测装置,用于接收图像采集装置采集的多工业机器人标准作业视频建立多个单工业机器人标准作业模式视频帧序列A13,,还用于接收图像采集装置实时采集的多工业机器人实时动作视频,建立多个单工业机器人实时作业视频帧序列A22,,所述故障检测装置还用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配,采用两阶段法检测单工业机器人是否动作异常,并在检测单工业机器人动作异常时发送急停控制信号;

控制器,用于接收故障检测装置发送的急停控制信号并控制工业机器人停止工作。

9.根据权利要求8所述的一种基于视觉的多工业机器人故障检测系统,其特征在于,所述故障检测装置包括标准作业建立单元、图像分割单元、实时动作图像建立单元及异常动作检测单元,所述标准作业建立单元用于对多工业机器人标准作业视频进行T视频帧提取,形成视频帧序列A11;

所述图像分割单元包括Mask R-CNN深度神经网络,Mask R-CNN深度神经网络用于对视频帧序列A11的图像进行图像分割,分离单工业机器人图像,建立多个单工业机器人作业视频帧序列A12,并将多个单工业机器人作业视频帧序列A12发送至所述标准作业建立单元;

所述标准作业建立单元用于接收多个单工业机器人作业视频帧序列A12并分别提取多个单工业机器人作业视频帧序列A12中包含单工业机器人一个周期的动作图像的帧,分别建立多个单工业机器人标准作业模式视频帧序列A13,,所述单工业机器人标准作业模式视频帧序列A13中每一帧包含工业机器人的一个作业动作;

所述实时动作图像建立单元用于对实时采集多工业机器人实时动作视频进行T视频帧提取,形成实时作业视频帧序列A21;

所述图像分割单元中的Mask R-CNN深度神经网络还用于对实时作业视频帧序列A21中的图像进行分割并将分割后的图像发送至实时动作图像建立单元;

所述实时动作图像建立单元还用于接收图像分割单元分割后的图像建立多个单工业机器人实时作业视频帧序列A22,

所述异常动作检测单元用于将多个单工业机器人实时动作图像分别与对应的单工业机器人标准作业模式视频帧序列中的图像进行匹配,采用两阶段法检测单工业机器人是否动作异常,并在检测单工业机器人动作异常时发送急停控制信号。

10.根据权利要求8或9所述的一种基于视觉的多工业机器人故障检测系统,其特征在于,所述异故障检测装置检测单工业机器人是否动作异常包括以下步骤,S31:初始化待匹配单工业机器人图像的序号I2b,b∈(1,2,......,n),令b=1,执行S32;

S32:判断单工业机器人标准作业模式视频帧序列A13,中是否存在与该待匹配单工业机器人图像近似匹配的图像,若是,执行S33,若否,执行S37;

S33:记录单工业机器人标准作业模式视频帧序列A13,中与该待匹配单工业机器人图像近似匹配的图像的序列号I1a,更新该待匹配单工业机器人图像的序号,令I2b=I1a,执行S34;

S34:判断b是否大于2,若是,执行S35,若否,执行S36;

S35:判断单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2b对应单工业机器人标准作业模式视频帧序列A13中的序列号是否与单工业机器人实时作业视频帧序列A22中的单工业机器人图像I2(b-1)的对应单工业机器人标准作业模式视频帧序列A13中的序列号连续,若是,执行S36,若否,执行S37;

S36:令b=b+1,对单工业机器人实时作业视频帧序列A22的下一帧单工业机器人图像进行匹配,执行S32;

S37:发送急停控制信号。