1.一种面向工厂作业人员的姿态识别管理系统,其特征在于,该系统包括:视频图像采集模块,选定目标工厂,在关键区域内部署摄像头,获取视频数据;
目标检测模块,基于YOLOv8算法,对各关键区域的视频数据进行预处理,识别出目标工厂内,作业人员的相关信息和自动化设备的轨迹信息,并将相关信息和轨迹信息输出;
作业人员的相关信息包括:身份信息和仪容状态;
身份信息包括对应每个作业人员的姓名、职位以及坐标;
仪容状态包括厂服、安全帽以及安全带的穿戴情况;
自动化设备包括AGV车,且自动化设备的轨迹信息包括运动轨迹、速度和位置;
行为识别模块,利用slowFast算法同步对各关键区域的视频数据进行处理,分析作业人员的动作和姿态,在作业人员与自动化设备进行交互的条件下,触发行为识别模块内置的关键点子模块,识别作业人员的交互行为,并将交互行为输出;
在关键点子模块中,结合关键点捕捉技术,作业人员人体的关键点数量为15个,且15个关键点所处位置分别为:头部、颈部、两个肩部、两个肘部、两个手腕、髋部、两个腰部、两个膝盖以及两个脚踝;交互行为表示:对应作业人员的关键点进入标定操作界面的框选区域时关键点的类型;
违规行为检测模块,接收目标检测模块和行为识别模块的输出结果,判断作业人员是否存在违规操作,并在判定存在违规操作时,提取违规操作的类型;在自动化设备处于移动状态下,则同步触发风险预测机制,当预测结果达标时,则发出提示指令;
判断作业人员是否存在违规操作的过程如下:
提取作业人员的相关信息中的仪容状态,若厂服、安全帽以及安全带中的任一或任几物未穿戴,则判定对应作业人员存在违规操作,标定穿戴异常;
搭建规则引擎,调取对应类别交互行为的规范,分析交互行为;
当处于设备调整时刻时,两个手腕关键点未与标定操作界面的框选区域重合,则判定对应作业人员存在违规操作,标定操作异常;任一关键点与自动化设备上标定的危险区域重合,则判定对应作业人员存在违规操作,标定接触异常;
触发风险预测机制的过程如下:
以移动状态下的自动化设备作为中心,获取i个与自动化设备运动轨迹重合的作业人员坐标,从距离中心最近的作业人员开始,依据自动化设备的轨迹信息,计算自动化设备抵达最近的作业人员所需的时长;采用自动化设备上配套的探头,检测是否能够采集到距离中心最近的作业人员的人脸图像;
若是,则标记为1;
若否,则标记为0;
如此重复,直至第i个与自动化设备运动轨迹重合的作业人员;
结合所需的时长和标记数值作为参数,构建风险评估模型,生成每个与自动化设备运动轨迹重合的作业人员对应的风险评估值,提取其中的最大值作为预测结果;
构建风险评估模型时,所依据的公式如下:
;
定义变量:
:自动化设备抵达第i个作业人员所需的时长;
:探头是否能检测到第i个作业人员的人脸,1表示检测到,0表示未检测到;
N :与自动化设备运动轨迹重合的作业人员总数;
R :风险评估值;
:预设的时间系数,取值范围在[2,4];
:预设的风险阈值;
w1、w2:权重系数,取值范围均在[0,1];
当R<θ时表示预测结果达标;
报警模块,当判定作业人员存在违规操作时,则根据违规操作的类型发出对应等级的预警信号;在接收到提示指令的条件下,发出提示信号。
2.根据权利要求1所述的一种面向工厂作业人员的姿态识别管理系统,其特征在于:对视频数据进行预处理的过程如下:对视频数据中的图像或视频帧进行处理,包括去噪和增强对比度。
3.根据权利要求1所述的一种面向工厂作业人员的姿态识别管理系统,其特征在于:利用slowFast算法搭建模型分析作业人员动作和姿态,该模型被训练用于识别若干种不同的交互行为,输入视频数据后模型得到对于作业人员行为所属类别的预测概率分布,计算得出一个包含多个概率值的向量,每个概率值对应一个交互行为类别,通过比较若干概率值,选取其中概率值最大的对应交互行为类别,将其作为分类结果输出。
4.根据权利要求1所述的一种面向工厂作业人员的姿态识别管理系统,其特征在于:根据违规操作的类型发出对应等级预警信号的过程如下:当违规操作类型为:穿戴异常时,发出一号预警信号;
当违规操作类型为:操作异常时,发出二号预警信号;
当违规操作类型为:接触异常时,发出三号预警信号;
预警信号的表现形式包括声音和灯光;
提示信号的表现形式为:采用安装于对应自动化设备上的播放器,播放“请注意闪避”的提示信息。
5.一种面向工厂作业人员的姿态识别管理方法,使用权利要求1至4中的任一种所述系统,其特征在于,包括如下步骤:S1、选定目标工厂,在关键区域内部署摄像头,获取视频数据;
S2、基于YOLOv8算法,对各关键区域的视频数据进行预处理,识别出目标工厂内,作业人员的相关信息和自动化设备的轨迹信息,并将相关信息和轨迹信息输出;
作业人员的相关信息包括:身份信息和仪容状态;
身份信息包括对应每个作业人员的姓名、职位以及坐标;
仪容状态包括厂服、安全帽以及安全带的穿戴情况;
自动化设备包括AGV车,且自动化设备的轨迹信息包括运动轨迹、速度和位置;
S3、利用slowFast算法同步对各关键区域的视频数据进行处理,分析作业人员的动作和姿态,在作业人员与自动化设备进行交互的条件下,触发识别作业人员的交互行为,并将交互行为输出;
其中,结合关键点捕捉技术,作业人员人体的关键点数量为15个,且15个关键点所处位置分别为:头部、颈部、两个肩部、两个肘部、两个手腕、髋部、两个腰部、两个膝盖以及两个脚踝;交互行为表示:对应作业人员的关键点进入标定操作界面的框选区域时关键点的类型;
S4、接收S2和S3的输出结果,判断作业人员是否存在违规操作,并在判定存在违规操作时,提取违规操作的类型;在自动化设备处于移动状态下,则同步触发风险预测机制,当预测结果达标时,则发出提示指令;
判断作业人员是否存在违规操作的过程如下:
提取作业人员的相关信息中的仪容状态,若厂服、安全帽以及安全带中的任一或任几物未穿戴,则判定对应作业人员存在违规操作,标定穿戴异常;
搭建规则引擎,调取对应类别交互行为的规范,分析交互行为;
当处于设备调整时刻时,两个手腕关键点未与标定操作界面的框选区域重合,则判定对应作业人员存在违规操作,标定操作异常;任一关键点与自动化设备上标定的危险区域重合,则判定对应作业人员存在违规操作,标定接触异常;
触发风险预测机制的过程如下:
以移动状态下的自动化设备作为中心,获取i个与自动化设备运动轨迹重合的作业人员坐标,从距离中心最近的作业人员开始,依据自动化设备的轨迹信息,计算自动化设备抵达最近的作业人员所需的时长;采用自动化设备上配套的探头,检测是否能够采集到距离中心最近的作业人员的人脸图像;
若是,则标记为1;
若否,则标记为0;
如此重复,直至第i个与自动化设备运动轨迹重合的作业人员;
结合所需的时长和标记数值作为参数,构建风险评估模型,生成每个与自动化设备运动轨迹重合的作业人员对应的风险评估值,提取其中的最大值作为预测结果;
构建风险评估模型时,所依据的公式如下:
;
定义变量:
:自动化设备抵达第i个作业人员所需的时长;
:探头是否能检测到第i个作业人员的人脸,1表示检测到,0表示未检测到;
N :与自动化设备运动轨迹重合的作业人员总数;
R :风险评估值;
:预设的时间系数,取值范围在[2,4];
:预设的风险阈值;
w1、w2:权重系数,取值范围均在[0,1];
当R<θ时表示预测结果达标;
S5、当判定作业人员存在违规操作时,则根据违规操作的类型发出对应等级的预警信号;在接收到提示指令的条件下,发出提示信号。