1.一种基于混合现实技术的数字化工厂巡检系统,包括HoloLens 2设备、嵌入式设备和用户主机;其中,用户主机与HoloLens 2设备、嵌入式设备分别建立网络连接,一方面接收HoloLens 2设备发送的指令和数据,根据指令返回处理结果;另一方面接收并存储嵌入式设备发送的设备实时状态数据;HoloLens 2设备通过第一、第二UI界面获取到用户的输入信息或指令,根据实际情况通过网络协议和用户主机产生数据交互;嵌入式设备用于获取设备的实时状态数据,并使用TCP/IP协议通过网络连接发送给用户主机处理;
所述HoloLens 2设备包括第一UI界面、网络通信子系统、作业辅助子系统和巡检辅助子系统;第一UI界面为维护人员提供直观的操作界面和按键,作业辅助子系统和巡检辅助子系统根据实际的需要,通过网络通信子系统实现和用户主机之间的数据交互;
第一UI界面,包括登录界面、注册界面、功能选择界面;
登录界面,维护人员将自己的账号和密码输入到HoloLens 2上呈现的登录界面的账号栏和密码栏后点击登录按钮,HoloLens 2调用网络通信子系统中的TCP/IP通信模块将账号和密码数据发送到用户主机进行验证,并根据接收到的用户主机返回的验证结果判定是否转入功能选择界面;
注册界面,维护人员将需要注册的账号和密码输入到HoloLens 2上呈现的注册界面的账号栏和密码栏后点击注册按钮,HoloLens 2调用网络通信子系统中的TCP/IP通信模块将账号和密码数据发送到用户主机进行注册,并根据接收到的用户主机返回的注册结果判定是否转入功能选择界面;
功能选择界面,维护人员在成功完成登录或者注册后,可以在功能选择界面选择进入作业辅助子系统或者巡检辅助子系统;
网络通信子系统,包括TCP/IP通信模块、WebRTC通信模块;
TCP/IP通信模块使用TCP/IP协议和用户主机建立网络通信连接,用于传输设备的历史状态数据、实时状态数据、设备名称以及维护人员的账号密码等信息;WebRTC通信模块采用WebRTC协议实现HoloLens 2与用户主机之间的通信连接,用于实现远程专家与维护人员之间的实时音视频通信,实现远程专家指导的功能;
作业辅助子系统,包括第二UI界面、历史数据查询模块、远程专家协助模块;
第二UI界面,在作业辅助子系统中,第二UI界面包括历史数据查询界面以及远程通信界面;
历史数据查询界面,维护人员在界面指定位置输入需要查询的历史数据,历史数据查询界面会将维护人员输入的数据下发到历史数据查询模块进一步处理,待历史数据查询处理完毕后,该历史数据查询界面会在指定位置显示查询结果;
远程通信界面,维护人员在该远程通信界面点击开始通信按钮,通信指令将会下发到远程协助模块进行处理,待远程协助模块处理完毕后,维护人员可在远程通信界面上指定位置看到远端专家和本地端的实时画面,实现远程专家协助;
历史数据查询模块,在接收到历史数据查询界面下发的数据后,历史数据查询模块会调用TCP/IP通信模块,并根据事先指定的数据通信格式从用户主机处获取到需要查询的数据,再上传给历史数据查询界面;
远程专家协助模块,在接收到远程通信界面下发的通信指令后,该远程专家协助模块会调用WebRTC通信模块与用户主机建立WebRTC通信连接,待连接成功后,远程协助模块会将接收到的用户主机返回的WebRTC视频流交由远程通信界面进行显示;
巡检辅助子系统,包括第二UI界面、设备实时状态查询模块;
第二UI界面,在巡检辅助子系统中,第二UI界面包括设备实时状态查询界面;
设备实时状态查询界面,维护人员在进入设备实时状态查询界面后,可以在界面上选择手动输入设备名称来查询设备的实时状态数据或者选择由巡检辅助子系统自动完成当前设备的实时状态数据查询;选择完毕后,第二UI界面会将选择的方式以及需要查询的数据下发至设备实时状态查询模块,待设备实时状态查询模块处理完毕后,在指定位置显示查询结果;
设备实时状态查询模块,选择手动方式输入设备名称查询状态数据方式,在接收到设备实时状态查询界面下发的数据后,该设备实时状态查询模块会调用TCP/IP通信模块将输入的数据按照事先设定的数据传输格式发送给用户主机,并获得用户主机返回的设备实时状态数据;选择巡检辅助子系统自动查询状态数据方式,设备实时状态查询模块调用TCP/IP通信模块将HoloLens 2采集到的图像发送给用户主机,由用户主机识别出设备名称,并将相应的状态数据返回给设备实时状态查询模块;无论选择哪种查询方式,设备实时状态查询模块都会将查询结果上传给设备实时状态查询界面作进一步的处理;
所述用户主机,包括Web界面、网络通信子系统、数据存储子系统、物体识别子系统;
Web界面,当HoloLens 2与用户主机之间通过WebRTC协议建立起连接后,远程专家可以通过该Web界面获取到维护人员端的实时语音和图像,并将专家的实时语音和图像发送给维护人员,实现两者之间的实时音视频通信;
网络通信子系统,包括TCP/IP通信模块和WebRTC通信模块;
TCP/IP通信模块使用TCP/IP协议和HoloLens 2、嵌入式设备建立网络通信连接,用于传输设备的历史数据、实时状态数据、设备名称以及维护人员的账号密码等信息;WebRTC通信模块采用WebRTC协议与HoloLens 2建立通信连接,用于实现远程专家与维护人员的实时音视频通信;
数据存储子系统,用户主机与HoloLens 2之间建立TCP/IP连接,接收HoloLens 2发送的指令,根据指令对数据进行存储或者读取;用户主机与嵌入式设备之间建立TCP/IP通信,按照事先设定的数据格式接收、存储设备的实时状态数据;
物体识别子系统,HoloLens 2和用户主机之间建立起TCP/IP通信连接,用户主机根据指令对接收的图像输入到物体识别算法中进行处理;待识别结束,将识别结果发送给数据存储子系统处理,由数据存储子系统根据识别出的设备名称向HoloLens 2发送设备的实时状态数据;
所述嵌入式设备,安装在设备上,通过以太网与用户主机处于同一个网段下,主要获取设备的实时状态数据并通过TCP/IP通信协议发送到用户主机。
2.根据权利要求1所述的一种基于混合现实技术的数字化工厂巡检系统,其特征在于:
嵌入式设备的主控芯片型号为STM32F103ZET6。
3.根据权利要求1所述的一种基于混合现实技术的数字化工厂巡检系统,其特征在于:
物体识别算法采用的是YOLOv4算法。
4.根据权利要求1所述的一种基于混合现实技术的数字化工厂巡检系统,其特征在于:
历史数据包括设备运行数据、维修记录。