1.基于光流估计的井下带式输送机运行状态检测方法,其特征在于,包括:采集皮带输送机的图像数据;
将采集的所述图像数据输入预设的光流估计网络模型,获取光流图像数据;其中,所述光流估计网络模型,基于第一训练数据集对第一预设神经网络训练获得,所述第一训练数据集包括:基于井下背景图和随机前景物体图生成的合成图像数据;
将所述光流图像数据输入预设的运动状态预测网络模型,获取带式输送机的运动状态的预测;其中,所述运动状态预测网络模型,基于第二训练数据集对CNN‑Transformer网络训练获得,所述第二训练数据集包括:光流图像数据和对应的运动状态;
所述CNN‑Transformer网络基于CNN模块和Transformer模块串联构成;
所述CNN模块,利用卷积层对皮带光流图进行局部特征提取,利用池化层压缩数据和参数数量;
将所述CNN模块输出的特征表示用残差结构连接到所述Transformer模块;
所述Transformer模块,利用自注意力机制获取序列数据中的长距离依赖关系;
获取光流图像数据对应的运动状态包括:
基于预设特征的边缘检测提取光流图像数据关键的边界和轮廓信息,获取预设运动变化的区域;
对预设运动变化的区域进行标注,获取对应的运动状态。
2.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,将采集的所述图像数据输入预设的光流估计网络模型前包括:对采集的所述图像数据进行初始化处理;
对初始化处理后的图像数据进行融合、增益、平滑和滤波处理。
3.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,构建所述第一训练数据集包括:基于井下背景图和随机前景物体图生成所述合成图像数据;
基于所述合成图像数据构建所述第一训练数据集;
在所述第一训练数据集中,通过设置超参数控制前景物体的生成属性以及图像数据的视觉效果。
4.根据权利要求3所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,基于第一训练数据集对第一预设神经网络进行训练包括:将所述第一训练数据集输入所述第一预设神经网络进行训练,训练过程中利用预设公式更新渲染所述超参数;
所述预设公式为:
其中,为超参数,Ω为搜索度量,Λ为超参数搜索空间,
( ())为自监督损失;
当自监督损失达到预设理想数值以下后停止训练,输出训练好的所述光流估计网络模型。
5.根据权利要求4所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述自监督损失基于光度损失、平滑损失和蒸馏损失组成。
6.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述第一预设神经网络包括:AutoFlow、FlowNet、FlowNet2、PWC‑Net、RAFT、MaskFlownet、LiteFlowNet、IRR、GMA或lLiteFlowNet。
7.根据权利要求1所述的基于光流估计的井下带式输送机运行状态检测方法,其特征在于,所述光流图像数据对应的运动状态包括:输送机正常运行、空载运行、运行异常、停止、跑偏、物体堵塞。
8.基于光流估计的井下带式输送机运行状态检测系统,其特征在于,用于实施如权利要求1‑7任一所述的基于光流估计的井下带式输送机运行状态检测方法,所述系统包括:图像采集模块、图像预处理模块、光流估计模块、运动状态预测模块、数据发送模块;
图像采集模块,用于采集皮带输送机所在区域的监控摄像头中的图像数据;
图像预处理模块,用于对采集的图像数据进行预处理,包括图像去噪、亮度增强、对比度增强;
所述光流估计模块,用于利用预设的光流估计网络模型,计算预处理后的图像数据中每个像素的运动速度和方向信息,获取光流图像数据;
所述运动状态预测模块,用于采用基于CNN‑Transformer的深度学习网络架构,接收光流图像数据,提取特征并关联运动状态标签信息并预测带式输送机的运动状态;
所述数据发送模块,将采集到的监控图像、生成的光流图像以及报警信息发生到上位机或远程服务器,在上位机端实时显示监控图像、光流图像和报警信息。