利索能及
我要发布
收藏
专利号: 2020114843304
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于离线人脸数据库的自动面部替换方法,其特征在于,具体按照如下步骤实施:

步骤1,构建离线人脸数据库;

步骤2,将步骤1获得的数据集中的每一张人脸图像进行镜像处理,然后将原始人脸图像和镜像后的人脸图像作为候选人脸图像集,根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类;

步骤3,输入待测人脸图像,使用dlib检测模型执行人脸检测以提取全部人脸,并估计待测人脸图像的人脸姿态,计算出待测人脸图像中所有人脸的欧拉角,并将候选人脸图像集中的人脸图像和待测人脸图像对齐到一个公共坐标系中;

步骤4,将待测人脸图像和候选人脸图像集中的所有人脸图像进行比较,获得初始候选人脸集;

步骤5,根据待测人脸图像调整初始候选人脸集中所有人脸图像的照明,获得调整后的候选人脸集;

步骤6,计算经步骤5得到的候选人脸集中的候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列,选择排名第一的候选人脸与待测人脸进行替换输出。

2.根据权利要求1所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤2中根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类具体为:

步骤2.1,使用dlib检测模型对候选人脸图像集中的人脸图像进行特征点检测,获取人脸图像的6个关键点坐标,即就是左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌的坐标,然后采用平均脸模型将6个关键点作为3D模型的基本点,构建对应的3D模型,然后采用OpenCV的solvePnP函数,根据关键点在3D模型中的位置计算出人脸的旋转向量,然后将旋转向量计算欧拉角的偏航角Yaw和俯仰角Pitch;

步骤2.2,选择偏航角度在±25°内且俯仰角度在±15°的人脸图像作为备选人脸图像;

步骤2.3,对备选人脸图像进行分类,具体为:将偏航角从‑25°到25°均匀划分为5个区间作为横坐标,将俯仰角从‑15°到15°均匀划分为三个区间作为纵坐标,将同时满足横纵坐标数值的对应人脸图像放置到对应的格子中,形成15个姿态箱,即就是将备选人脸图像分为15类。

3.根据权利要求2所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤3中的计算出待测人脸图像中所有人脸的欧拉角,按照步骤2.1的方法进行,计算偏航角Yaw和俯仰角Pitch。

4.根据权利要求3所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤4具体为:

步骤4.1,对备选人脸图像进行性别筛选:根据待测人脸图像的性别,在备选人脸图像的15个姿态箱中选择与待测人脸图像性别相同的人脸图像进行保留,作为下一步候选人脸图像;

步骤4.2,将步骤4.1获得的所有候选人脸图像进行年龄筛选:根据待测人脸图像的年龄区间,在步骤4.1得到的候选人脸图像中检测符合对应年龄区间的人脸作为下一步的候选人脸图像;

步骤4.3,选择步骤4.2得到的候选人脸图像中与待测人脸图像的偏航角和俯仰角相差均不超过3°的人脸作为下一步的候选人脸图像;

步骤4.4,选择步骤4.3候选人脸集合中符合分辨率要求的人脸作为下一步的候选人脸图像;

步骤4.5,计算经过步骤4.4处理得到的候选人脸图像与待测人脸图像的模糊距离dB,将计算得到的模糊距离dB由小到大排序,保留排在前50%的图像作为下一步的候选人脸图像;

步骤4.6,计算步骤4.5得到的候选人脸图像与待测人脸图像之间的照明距离dL,然后对dL按照从小到大的规则进行排序,最终保留照明距离dL在前10%的人脸图像作为下一步的候选人脸。

5.根据权利要求4所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤4.5具体为:

步骤4.5.1,将每个人脸图像的眼睛区域的灰度强度归一化为零均值和单位方差,具体为:

其中,x是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域单个像素点内灰度强度值, 是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域灰度强度的均值,σ*

是步骤4.4得到的候选人脸图像或者待测人脸图像区域灰度强度的标准差,x是归一化之后的灰度强度值;

(1) (2)

步骤4.5.2,计算归一化眼区梯度大小的直方图h 和h ,将直方图乘以一个加权函数,该加权函数使用直方图索引bin的平方,得到两个加权直方图 和 具体为:(i)

其中,n表示直方图的bin索引号,h 表示候选人脸图像或者待测人脸图像分别的归一化眼区域梯度大小的直方图, 表示候选人脸图像或者待测人脸图像对应的加权直方图,i=1表示候选人脸图像,i=2表示待测人脸图像;

步骤4.5.3,计算候选人脸图像和待测人脸图像的模糊距离,即就是直方图相交距离HID,具体为:

其中,dB表示两张人脸图像的模糊距离;

步骤4.5.4,按照步骤4.5.1‑4.5.3计算所有候选人脸图像和待测人脸图像的模糊距离dB,然后按照从小到大的规则排序,保留前50%的图像作为下一步的候选人脸图像。

6.根据权利要求4所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤4.6具体为:

步骤4.6.1,使用人脸重新标记方法将步骤4.5获得的候选人脸图像和待测人脸图像表示为圆柱体状的平均人脸形状;

步骤4.6.2,计算每个RGB颜色通道中人脸替换区域的图像强度 具体为:其中, 表示计算每个RGB颜色通道中人脸替换区域的图像强度;n(x,y)是图像位置(x,y)处的表人脸法线,ρc是三个颜色通道中每个通道的常数反照率,系数ac,k光照条件,Hk(n(x,y)是球面谐波图像;

步骤4.6.3,通过将施密特正交化应用于谐波基Hk(n(x,y)来创建一个正交基ψk(x,y),则 表示为:

其中,βc,k表示照明系数,ψk(x,y)表示施密特正交化后的球面谐波图像;

步骤4.6.4,根据步骤4.6.1‑4.6.3分分别计算经步骤4.5得到的候选人脸图像和待测人脸图像对应的 分别用 和 表示,然后计算候选人脸图像和待测人脸图像的照明距离dL,具体为:其中, 表示候选人脸图像对应的照明系数, 表示待测人脸图像对应的照明系(1) (2) (1)

数,dL(I ,I )表示候选人脸图像和待测人脸图像之间的照明距离,其中,I 为候选人脸(2)

图像,I 为待测人脸图像;

步骤4.6.5,计算所有候选人脸图像和待测人脸图像之间的照明距离,将计算的照明距离dL按照从小到大的规则排序,保留dL在前10%的人脸作为下一步的候选人脸图像。

7.根据权利要求4所述的一种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤5具体为:

(2)

使用图像公式在替换区域内将待测人脸图像I 的照明应用于步骤4得到的候选人脸(1)

图像I 中,则应用后的候选人脸图像对应的图像强度为:(1)

其中, 为根据公式(5)计算得到的候选人脸图像I 对应的每个RGB颜色通道中人脸替换区域的图像强度;

(2)

为根据公式(5)计算得到的待测人脸图像I 对应的每个RGB颜色通道中人脸替换区域的图像强度;

(2) (1)

为将待测人脸图像I 的照明候选人脸图像I 后的候选人脸图像对应的图像强度。

8.根据权利要求7所述的种基于离线人脸数据库的自动面部替换方法,其特征在于,所述步骤6具体为:计算经步骤5处理之后的所有候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列,选择排名第一的候选人脸与待测人脸进行替换输出。