利索能及
我要发布
收藏
专利号: 2021115518600
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:包括以下步骤:S1:从摄像设备获取原始图像,并输入有效帧判别网络进行有效帧检测,若有效帧概率小于无效帧概率则该原始图像为无效帧,反之即为有效帧,保留有效帧;

S2:使用目标检测算法对原始图像进行头部检测,并根据检测结果提取头部图像;

S3:将头部图像输入头部姿态估计网络,得到欧拉角三个维度的概率分布序列p,y,和最终的估计角度俯仰角θp,偏航角θy,滚转角θr;

S4:将概率分布序列输入一维卷积网络进行准确度评估,若一维卷积网络输出的准确度小于0.5,则返回步骤S1,否则根据S3中的估计角度进行头部姿态的判断,并针对错误姿态进行语音提醒。

2.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:所述步骤S1具体包括:

S1.1:将原始图像调整成正方形,并对每一个通道进行归一化,得到Image1;

S1.2:将Image1输入有效帧判别网络,输出该帧图像为有效帧和无效帧的概率分别为P1(x),P2(x),若P1(x)

3.如权利要求2所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:步骤S1.2所述有效帧判别网络是由多个基本网络块构成的轻量级网络,其基本网络块由1×1的普通卷积和3×3的depth‑wise卷积构成,并分别在网络块头部和尾部进行通道分离和通道混合操作。

4.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:所述步骤S2具体包括:

S2.1:将原始图像大小调整成正方形,并对每一个通道进行归一化,得到Image2,Image2的尺寸比Image1更大;

S2.2:将Image2输入Yolov5目标检测网络进行头部识别,输出头部外接矩形框在原始图像上的坐标:xl,yl,xr,yr;

其中xl,yl分别为外接矩形框左上角的x坐标和y坐标;xr,yr分别为外接矩形框右上角的x坐标和y坐标;

S2.3:根据头部外接矩形框的坐标从原始图像提取头部图像。

5.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:所述步骤S3具体包括:

S3.1:将头部图像大小调整成正方形,并对每一个通道进行归一化,得到Image3;

S3.2:将Image3输入姿态估计网络,得到俯仰角、偏航角、滚转角的概率分布序列以及估计角度;

所述概率分布序列分别记为p,y, 其中N∈{66,120,66}, 所述俯仰角范围为[‑99°,99°],偏航角范围为[‑180°,180°],滚转角范围为[‑99°,99°]。

6.如权利要求5所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:步骤S3.2所述的姿态估计网络包括两个部分:用于特征提取的主干网络和用于回归分类的全连接层网络;

所述主干网络的核心结构由16个移动翻转瓶颈卷积块构成,该移动翻转瓶颈卷积块首先通过1×1卷积改变通道数,接着进行深度卷积,再连接一个压缩与激发模块,压缩与激发模块能够使模型更加关注重要的通道特征,最后再以1×1卷积恢复通道维度并通过连接失活和跳跃连接操作增加模型的泛化性和学习能力;

所述全连接层网络一共包括三个分支,分别用于计算俯仰角、偏航角、滚转角,每个分支的输出是长度为66或120的序列;

所述每个分支又包含分类分支和回归分支,在分类分支中,每个序列单元输出的是类的概率,通过softmax函数获得该分支的概率分布;在回归分支中,每个序列单元代表3°的旋转角度,回归分支通过概率分布计算得到该维度的期望作为估计角度;

所述期望计算公式为:

其中,θpred代表估计角度,pi是序列第i个单元的概率,N是序列长度;

所述头部姿态估计网络通过训练得到,其参数通过最小化代价函数Ltotal进行更新;

所述代价函数由多项损失函数组成:Ltotal=0.4*Lreg+0.4*Lcls+0.2*Lmd     (2)其中Lreg表示回归分支的损失,为保证角度的惩罚不超过180°,定义损失函数为:Lcls表示分类分支的损失,使用二进制交叉熵作为损失函数;

Lmd表示由一维卷积构成的评估网络的损失,用来规范姿态估计网络输出的概率分布特征。

7.如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:所述步骤S4包括:

S4.1:将头部姿态估计网络输出的概率分布序列输入一维卷积网络进行准确度评估,若一维卷积网络输出的准确度小于0.5,返回步骤S1,否则进入步骤S4.2;

S4.2:根据得到的θp,θy,θr进行头部姿态判断;

S4.3:若S4.2中头部姿态判断为异常,则针对异常姿态进行语音提醒。

8.如权利要求7所述的一种基于头部姿态估计的儿童坐姿提醒方法,其特征在于:所述S4.3依据三个维度的估计角度按照预设的角度区间进行头部姿态判断,异常姿势包括:头部过低、头部倾斜、思想开小差;

当所述俯仰角在区间[‑99°,‑45°]内,则判断当前姿态为异常姿态中的头部过低;当所述滚转角不在区间[‑30°,30°]内,则判断当前姿态为异常姿态中的头部倾斜;当所述偏航角不在区间[‑45°,45°]内,则判断当前姿态为异常姿态中的思想开小差。

9.实现如权利要求1所述的一种基于头部姿态估计的儿童坐姿提醒方法的系统,其特征在于:包括图像输入模块、头部检测模块、姿态估计模块、坐姿提醒模块;

所述图像输入模块从摄像设备获取原始图像并通过有效帧检测算法判断当前场景是否有儿童正处于读写状态,从而决定是否将原始图像输入下一模块;

所述头部检测模块,通过使用训练好的目标检测模型检测得到原始图像中头部的外接矩形框的位置信息,包括左上角和右下角的x,y轴坐标,根据坐标裁剪得到头部图像并输入下一模块;

所述姿态估计模块,通过将头部图像输入训练好的头部姿态估计网络,得到欧拉角三个维度的概率分布序列和估计角度,其中,概率分布序列包含了其概率分布特征,用于判断估计角度的准确性;

所述坐姿提醒模块,首先将概率分布序列进一步输入一个一维卷积网络用于评估头部姿态估计网络估计角度的准确性,如果准确性小于0.5则不进行头部姿态判断,反之根据俯仰角、偏航角、滚转角的估计值判断头部姿态是否异常,若为异常则进行相应的提醒;

所述的图像输入模块、头部检测模块、姿态估计模块、坐姿提醒模块依次相连。