1.一种基于虚拟仿真的工业机器人装配实训系统,其特征在于,包括:虚拟仿真平台,用于提供工业机器人装配实训的虚拟场景和虚拟设备;
虚拟现实设备,用于与所述虚拟仿真平台进行交互,实现对所述虚拟场景和所述虚拟设备的操作和控制;
数据处理模块,用于接收所述虚拟现实设备的输入信号,对所述输入信号进行分析和处理,生成相应的反馈信号,并将所述反馈信号发送给所述虚拟现实设备;以及评估模块,用于对用户的装配操作进行评估。
2.根据权利要求1所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述评估模块,包括:数据采集单元,用于获取由摄像头采集的所述用户的装配操作视频,以及,参考操作视频;
时序分析单元,用于对所述装配操作视频和所述参考操作视频进行时序分析以得到装配操作时序特征图和参考操作时序特征图;
语义差异提取单元,用于提取所述装配操作时序特征图和所述参考操作时序特征图之间的操作语义差异特征以得到操作差异语义转移表征特征图;以及偏离度分析单元,用于基于所述操作差异语义转移表征特征图,确定所述用户的装配操作与规范操作的偏离度是否超过预定阈值。
3.根据权利要求2所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述时序分析单元,包括:预处理子单元,用于对所述装配操作视频和所述参考操作视频进行预处理以得到装配操作关键帧的序列和参考操作关键帧的序列;以及时序关联特征提取子单元,用于将所述装配操作关键帧的序列和所述参考操作关键帧的序列通过基于三维卷积网络模型的操作时序关联特征提取器以得到所述装配操作时序特征图和所述参考操作时序特征图。
4.根据权利要求3所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述预处理子单元,用于:对所述装配操作视频和所述参考操作视频进行稀疏抽样以得到所述装配操作关键帧的序列和所述参考操作关键帧的序列。
5.根据权利要求4所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述语义差异提取单元,用于:计算所述装配操作时序特征图和所述参考操作时序特征图的每组对应通道维度的特征矩阵之间的转移矩阵以得到所述操作差异语义转移表征特征图。
6.根据权利要求5所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述偏离度分析单元,包括:局部操作显著子单元,用于将所述操作差异语义转移表征特征图通过基于自适应注意力层的局部操作显著器以得到显著化操作差异语义转移表征特征图;以及分类子单元,用于将所述显著化操作差异语义转移表征特征图通过分类器以得到分类结果,所述分类结果用于表示所述用户的装配操作与规范操作的偏离度是否超过预定阈值。
7.根据权利要求6所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述局部操作显著子单元,用于:以如下自适应注意力公式来对所述操作差异语义转移表征特征图进行处理以得到所述显著化操作差异语义转移表征特征图;其中,所述自适应注意力公式为:vc=pool(F)
A=σ(Wa*vc+ba)
F′=A′⊙F
其中,F为所述操作差异语义转移表征特征图,pool为池化处理,vc为池化向量,Wa是权重矩阵,ba是偏置向量,σ为激活处理,A为初始元权重特征向量,Ai是所述初始元权重特征向量中第i个位置的特征值,A'为校正元权重特征向量,F'是所述显著化操作差异语义转移表征特征图,⊙表示以所述校正元权重特征向量中的特征值为权重与所述操作差异语义转移表征特征图沿通道维度的各个特征矩阵进行相乘。
8.根据权利要求7所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述分类子单元,包括:特征图优化二级子单元,用于对所述显著化操作差异语义转移表征特征图进行优化以得到优化的显著化操作差异语义转移表征特征图;以及偏离度分类二级子单元,用于将所述优化的显著化操作差异语义转移表征特征图通过分类器以得到分类结果,所述分类结果用于表示所述用户的装配操作与规范操作的偏离度是否超过预定阈值。
9.根据权利要求8所述的基于虚拟仿真的工业机器人装配实训系统,其特征在于,所述偏离度分类二级子单元,用于:将所述优化的显著化操作差异语义转移表征特征图按照行向量或列向量展开为分类特征向量;
使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
10.一种基于虚拟仿真的工业机器人装配实训方法,其特征在于,包括:通过虚拟仿真平台提供工业机器人装配实训的虚拟场景和虚拟设备;
通过虚拟现实设备与所述虚拟仿真平台进行交互,实现对所述虚拟场景和所述虚拟设备的操作和控制;
通过数据处理模块接收所述虚拟现实设备的输入信号,对所述输入信号进行分析和处理,生成相应的反馈信号,并将所述反馈信号发送给所述虚拟现实设备;以及通过评估模块对用户的装配操作进行评估。