利索能及
我要发布
收藏
专利号: 2022110275382
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:包括以下步骤:步骤1、在装有筒纱的支架上方布置倾斜朝下的激光器以及俯仰角由动力元件调节的RGB‑D摄像机(4);RGB‑D摄像机(4)的镜头轴线与激光器(3)的轴线在同一竖直平面内;激光器发射激光束,在筒纱(2)端面上留下光斑;同时,RGB‑D摄像机(4)发生转动,在不同的俯仰角下采集筒纱的RGB图像和深度图;

步骤2、对不同俯仰角下拍摄得到的RGB图像和深度图像进行图像处理,获得图像中光斑中心及各筒纱(2)中心的深度值,并提取出各筒纱(2)及其线轴的轮廓;

步骤3、计算光斑到激光器(3)的距离LAP和光斑到RGB‑D摄像机(4)的距离LPB如下:其中,LAB为激光器(3)与RGB‑D摄像机(4)的距离;LPC为光斑中心的深度值,θ为激光器的俯仰角;

计算RGB图像中心与光斑中心的距离LOP如下:

其中,LOB为RGB图像中心的深度值;β为光斑中心至RGB成像镜头光学中心的连线与激光器至RGB成像镜头光学中心的连线之间夹角;

θ与β满足如下关系式:

构建筒纱(2)的边距li的表达式如下:

其中,lO'P'为RGB图像中心与光斑中心的像素距离;d1为线轴的像素直径;d2为筒纱(2)的像素直径;

取不同俯仰角下拍摄图像计算出的边距li的平均值,作为视觉测量的筒纱边距ls;

步骤4、利用经过训练的深度卷积神经网络识别筒纱边距,得到深度学习的筒纱边距ln;

步骤5、融合视觉测量的筒纱边距ls与深度学习的筒纱边距ln,构建融合的筒纱边距lr如下:lr=kls+ln(1‑k)

其中,k为权重系数,其表达式为:

其中,lmax表示筒纱的最大边距。

2.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:步骤2中的图像处理包括以下步骤:

2‑1.对RGB图像与深度图像进行对齐操作;

2‑2.采集RGB图像中的光斑中心的像素坐标以及筒纱(2)的线轴中心像素坐标;

2‑3.读取光斑中心及筒纱(2)的线轴中心在深度图上对应坐标的深度值;

2‑4.提取RGB图像中的每个筒纱(2)的图像,得到多个子图像;通过边缘检测提取每一个子图像中筒纱(2)端面和线轴端面的轮廓,并将所得轮廓拟合为椭圆形;

2‑5.将步骤(4)中拟合得到的椭圆形轮廓矫正为圆形。

3.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:步骤4中通过深度学习的筒纱边距ln的获取过程如下:

4‑1.采集多张边距不为零的图像、边距为零的图像以及不含有筒纱的图像作为训练的样本;

4‑2.通过图像增强算法对训练的样本进行扩展;

4‑3.将样本转换为灰度图像,归一化为深度卷积神经网络的输入;深度卷积神经网络分为筒纱识别模块和边距测量模块;筒纱识别模块用于区分筒纱(2)的边距是否为0;边距测量模块用于检测每个筒纱(2)的整体直径和线轴直径;

4‑4.提取RGB图像中的含有单个筒纱(2)的子图像,并对各子图像进行灰度化和归一化处理;将处理后的子图像输入深度卷积神经网络,获得筒纱(2)的整体半径和线轴半径;

4‑5.构建筒纱(2)的边距l'i的表达式如下:

其中,lO'P'为RGB图像中心与光斑中心的像素距离;r1为步骤4‑3得到的线轴半径;r2为步骤4‑3得到的整体半径;

4‑6.取不同俯仰角下拍摄图像计算出的边距l'i的平均值,作为深度学习的筒纱边距ln。

4.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:步骤5执行后,通过卡尔曼滤波器对筒纱边距进行估计,获得最终的筒纱边距及线程速度组成的向量 具体过程如下:其中, 为筒纱(2)端面边距和线程消耗速度所组成的预测值;lk为当前测得的筒纱边距;lk‑1为前一测量周期测得的筒纱边距;vk为当前的线程消耗速度;vk‑1为前一测量周期的线程消耗速度;t为测量周期;u为状态控制向量;A为状态转移矩阵;B为输入增益矩阵;

为当前先验估计协方差;Pk‑1为前一测量周期后验估计协方差;Q为过程噪声协方差;Kk为滤波增益矩阵;R为测量噪声协方差;Zk为步骤6获得的筒纱边距lr与线程消耗速度组成的向量;H为观测矩阵;Pk为当前的后验估计协方差。

5.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:所述的RGB‑D摄像机(4)拍摄筒纱(2)时的帧率为30FPS。

6.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:所述的RGB‑D摄像机所采集的筒纱(2)的RGB图像和深度图像具有相同的分辨率。

7.根据权利要求1所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:采用的测量装置包括导轨(6)、移动平台(5)以及安装在移动平台(5)上的RGB‑D摄像机(4)和激光器(3);移动平台(5)滑动在导轨(6)上,并由动力元件驱动;移动平台(5)能够在多个装有筒纱的支架的正上方移动;RGB‑D摄像机(4)能够在动力元件的驱动下绕水平轴线进行翻转;RGB‑D摄像机(4)与激光器(3)等高设置;激光器(3)倾斜朝下设置。

8.根据权利要求7所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:所述的移动平台(5)由电机通过齿轮齿条驱动。

9.根据权利要求7所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:所述激光器(3)的俯仰角能够调节;RGB‑D摄像机(4)和激光器(3)的转动轴线相互平行。

10.根据权利要求7所述的一种基于机器视觉与深度学习耦合算法的实时监测方法,其特征在于:所述RGB‑D摄像机(4)的翻转范围为以竖直向下为中心的‑30°~+30°。