利索能及
我要发布
收藏
专利号: 2024110263416
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-27
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于光流估计的井下带式输送机运行状态检测方法,其特征在于,包括:采集皮带输送机的图像数据;

将采集的所述图像数据输入预设的光流估计网络模型,获取光流图像数据;其中,所述光流估计网络模型,基于第一训练数据集对第一预设神经网络训练获得,所述第一训练数据集包括:基于井下背景图和随机前景物体图生成的合成图像数据;

将所述光流图像数据输入预设的运动状态预测网络模型,获取带式输送机的运动状态的预测;其中,所述运动状态预测网络模型,基于第二训练数据集对CNN‑Transformer网络训练获得,所述第二训练数据集包括:光流图像数据和对应的运动状态;

所述CNN‑Transformer网络基于CNN模块和Transformer模块串联构成;

所述CNN模块,利用卷积层对皮带光流图进行局部特征提取,利用池化层压缩数据和参数数量;

将所述CNN模块输出的特征表示用残差结构连接到所述Transformer模块;

所述Transformer模块,利用自注意力机制获取序列数据中的长距离依赖关系;

获取光流图像数据对应的运动状态包括:

基于预设特征的边缘检测提取光流图像数据关键的边界和轮廓信息,获取预设运动变化的区域;

对预设运动变化的区域进行标注,获取对应的运动状态。

2.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,将采集的所述图像数据输入预设的光流估计网络模型前包括:对采集的所述图像数据进行初始化处理;

对初始化处理后的图像数据进行融合、增益、平滑和滤波处理。

3.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,构建所述第一训练数据集包括:基于井下背景图和随机前景物体图生成所述合成图像数据;

基于所述合成图像数据构建所述第一训练数据集;

在所述第一训练数据集中,通过设置超参数控制前景物体的生成属性以及图像数据的视觉效果。

4.根据权利要求3所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,基于第一训练数据集对第一预设神经网络进行训练包括:将所述第一训练数据集输入所述第一预设神经网络进行训练,训练过程中利用预设公式更新渲染所述超参数;

所述预设公式为:

其中,为超参数,Ω为搜索度量,Λ为超参数搜索空间,

( ())为自监督损失;

当自监督损失达到预设理想数值以下后停止训练,输出训练好的所述光流估计网络模型。

5.根据权利要求4所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述自监督损失基于光度损失、平滑损失和蒸馏损失组成。

6.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述第一预设神经网络包括:AutoFlow、FlowNet、FlowNet2、PWC‑Net、RAFT、MaskFlownet、LiteFlowNet、IRR、GMA或lLiteFlowNet。

7.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述光流图像数据对应的运动状态包括:输送机正常运行、空载运行、运行异常、停止、跑偏、物体堵塞。

8.基于光流估计的井下带式输送机运行状态检测系统,其特征在于,用于实施如权利要求1‑7任一所述的基于光流估计的井下带式输送机运行状态检测方法,所述系统包括:图像采集模块、图像预处理模块、光流估计模块、运动状态预测模块、数据发送模块;

图像采集模块,用于采集皮带输送机所在区域的监控摄像头中的图像数据;

图像预处理模块,用于对采集的图像数据进行预处理,包括图像去噪、亮度增强、对比度增强;

所述光流估计模块,用于利用预设的光流估计网络模型,计算预处理后的图像数据中每个像素的运动速度和方向信息,获取光流图像数据;

所述运动状态预测模块,用于采用基于CNN‑Transformer的深度学习网络架构,接收光流图像数据,提取特征并关联运动状态标签信息并预测带式输送机的运动状态;

所述数据发送模块,将采集到的监控图像、生成的光流图像以及报警信息发生到上位机或远程服务器,在上位机端实时显示监控图像、光流图像和报警信息。