利索能及
我要发布
收藏
专利号: 2020100206029
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种由粗到精的人脸姿态量化估计方法,其特征在于包括如下步骤:

步骤1:人脸姿态粗略估计阶段,利用卷积神经网络对人脸姿态进行分类,将人脸划分到具体的姿态类别,得到类别标签cI,该标签对应的权重为wI,其中,cI∈C,wI∈W;

步骤2:人脸姿态精细估计阶段,利用三维人脸关键点定位模型Ml对二维人脸图像进行关键点定位,并利用得到的三维人脸关键点在三维坐标系x-y、x-z以及y-z三个平面上的几何投影来进行人脸姿态的精细估计,得到人脸在roll、yaw和pitch三个方向上的偏移角度,具体为:步骤2.1:人脸图像I经三维人脸关键点定位模型Ml得到三维人脸关键点坐标集合L={li|i=1,2,...,N},其中,N为三维人脸关键点坐标的数量,li为第i个三维人脸关键点坐标且li=(xi,yi,zi);

步骤2.2:令两眉毛中点三维坐标P1=(x1,y1,z1),鼻子上方第一个关键点三维坐标P2=(x2,y2,z2),左眼中点三维坐标P3=(x3,y3,z3),右眼中点三维坐标P4=(x4,y4,z4),其中,两眉毛中点三维坐标P1为两眉毛n1个三维关键点坐标的平均值,左眼中点三维坐标P3为左眼n3个三维关键点坐标的平均值,右眼中点三维坐标P4为右眼n4个三维关键点坐标的平均值;

步骤2.3:利用两眼中点P3与P4的连线L34在x-y平面上的投影 来估计人脸在roll方向上的偏移,其中,线段 的两个端点分别为P3x-y=(x3,y3)以及 令人脸在roll方向上的偏移角度为θroll,则θroll的计算如公式(1)所示;

步骤2.3.1:当x3=x4时,人脸在roll方向上为90°,即θroll=90°;

步骤2.3.2:当x3≠x4时,当人脸在roll方向上无偏移时, 与x轴平行,即y3=y4,此时θroll=0°,当人脸在roll方向上发生偏移时, 与x轴产生夹角,当y3>y4,即θroll>0,此时人脸在roll方向上向左侧偏移,当y3

步骤2.4:利用两眼中点P3与P4的连线L34在x-z平面上的投影 来估计人脸在yaw方向上的偏移,其中,线段 的两个端点分别P3x-z=(x3,z3)以及 令人脸在yaw方向上的偏移角度为θyaw,则θyaw的计算如公式(2)所示;

步骤2.4.1:当x3=x4时,人脸在yaw方向上为90°,即θyaw=90°;

步骤2.4.2:当x3≠x4时,当人脸在yaw方向上无偏移时, 与x轴平行,即z3=z4,此时θyaw=0°,当人脸在yaw方向上发生偏移时, 与x轴产生夹角,当z30,此时人脸在yaw方向上向左侧偏移,当z3>z4,即θyaw<0,此时人脸在yaw方向上向右侧偏移;

步骤2.5:利用两眉毛的中点P1和鼻子上方的第一个关键点P2的连线L12在y-z平面上的投影 来估计人脸在pitch方向上的偏移,其中,线段 的两个端点分别P1y-z=(y1,z1)以及 令人脸在pitch方向上的偏移角度为θpitch,则θpitch的计算如公式(3)所示;

步骤2.5.1:当y1=y2时,人脸在pitch方向上为90°,即θpitch=90°;

步骤2.5.2:当y1≠y2时,当人脸在pitch方向上无偏移时, 与y轴平行,即z1=z2,此时θpitch=0°,当人脸在pitch方向上发生偏移时, 与y轴产生夹角,当z1>z2,即θpitch>0,此时人脸在pitch方向上向上侧偏移,当z1

步骤2.6:当x3=x4时,人脸在yaw方向上为90°或在roll方向上为90°,此时为极端姿态下的人脸姿态估计,利用点P1和P2连线在x-y平面上的投影与x轴的夹角β来进行判断,令平行于x轴的向量 令点P1和P2连线在x-y平面上的投影向量不考虑人脸姿态在两个方向上同为90°的情况,因此,当yaw方向或roll方向上为90°时,不存在 的情况,则β的计算公式如公式(4)所示;

步骤2.6.1:当0≤β≤15°时,人脸在roll方向上为90°,此时,利用两眼中点P3与P4连线L34在y-z平面上的投影 来估计人脸在yaw方向上的偏移,线段 的两个端点分别为P3y-z=(y3,z3)以及 此时θyaw的计算如公式(5)所示,利用两眉毛的中点P1和鼻子上方的第一个关键点P2的连线L12在x-z平面上的投影 来估计人脸在pitch方向上的偏移,线段 的两个端点分别P1x-z=(x1,z1)以及 此时θpitch的计算如公式(6)所示;

步骤2.6.2:当β>15°时,人脸在yaw方向上为90°,此时,利用 来估计人脸在roll方向上的偏移,θroll的计算如公式(7)所示,利用 来估计人脸在pitch方向上的偏移,θpitch的计算如公式(8)所示;

步骤2.7:令人脸在roll、yaw、pitch三个方向上的得分分别为Sroll、Syaw、Spitch,其中,Sroll=cosθroll,Syaw=cosθyaw,Spitch=cosθpitch,人脸图像I的人脸姿态总得分为Spose如公式(9)所示;

Spose=(Sroll+Syaw+Spitch)×wI                 (9)。

2.根据权利要求1所述的一种由粗到精的人脸姿态量化估计方法,其特征在于步骤1中将人脸划分到具体的姿态类别,得到类别标签cI,该标签对应的权重为wI的具体过程如下:步骤1.1:利用深度卷积神经网络对五种不同姿态类别的人脸图像进行训练,得到训练好的人脸姿态分类模型Mc,人脸姿态类别标签C={c1,c2,c3,c4,c5},其中,c1、c2、c3、c4、c5表示五种不同的人脸姿态,分别对应正面人脸、侧45°人脸、抬头、低头以及侧75°人脸,五种姿态类别标签对应五个权重W={w1,w2,w3,w4,w5},该权重用于人脸姿态精细估计阶段人脸姿态得分的计算;

步骤1.2:利用人脸姿态分类模型Mc对一张待姿态估计人脸图像I进行分类识别,得到类别标签cI,该标签对应的权重为wI,其中,cI∈C,wI∈W。

3.根据权利要求1所述的一种由粗到精的人脸姿态估计方法,其特征在于所述的深度卷积神经网络为特征融合卷积神经网络,利用不同层次特征互补的特性,通过融合三个不同层次的卷积特征,使得到的特征更加具有判别力,有利于人脸姿态的分类。