利索能及
我要发布
收藏
专利号: 2021114211262
申请人: 武汉斗鱼鱼乐网络科技有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2024-12-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种移动端美妆优化方法,其特征在于,包括以下步骤:获取美妆素材和直播画面,并对美妆素材和直播画面中的人脸均进行五官关键点定位;

对美妆素材的五官关键点进行三角网格剖分,生成三角网格;

根据美妆素材人脸的五官关键点和三角网格,以及直播画面人脸的五官关键点,基于多线程并行处理方式进行仿射变换;

基于美妆设备性能调整仿射变换的图像大小,显示美妆素材于直播画面上;

将美妆素材人脸与直播画面人脸融合,完成直播画面中人脸的美妆处理。

2.如权利要求1所述的一种移动端美妆优化方法,其特征在于,所述将美妆素材人脸与直播画面人脸融合,具体通过以下公式进行融合:R=(S*(1‑a)+D*a)α其中,R表示美妆素材人脸与直播画面人脸融合后的结果,S表示直播画面中的人脸图像,a表示美妆强度参数,D表示美妆素材显示于直播画面上的结果,α表示融合结果调整因子。

3.如权利要求1所述的一种移动端美妆优化方法,其特征在于,所述根据美妆素材人脸的五官关键点和三角网格,以及直播画面人脸的五官关键点,基于多线程并行处理方式进行仿射变换,具体步骤包括:

创建用于存储三角网格的队列,并新建多个用于进行仿射变换的线程;

生成的三角网格存储于队列中,形成三角网格队列;

多个线程依次从队列中获取三角网格,并基于美妆素材人脸和直播画面人脸的五官关键点,进行仿射变换。

4.如权利要求3所述的一种移动端美妆优化方法,其特征在于,所述多个线程依次从队列中获取三角网格,具体步骤包括:按照由头至尾顺序,各线程依次从三角网格队列中获取三角网格;

对于当前线程获取的三角网格,判断当前线程获取的三角网格与正在进行仿射变换的三角网格是否相交:

若是,则当前线程将获取的三角网格放置于三角网格队列的队尾,并从三角网格队列再获取一个三角网格;

若否,则不做处理。

5.如权利要求4所述的一种移动端美妆优化方法,其特征在于:所述判断当前线程获取的三角网格与正在进行仿射变换的三角网格是否相交,其中,三角网格是否相交为基于三角网格所在矩形是否相交进行判断;

当当前线程获取的三角网格所在的矩形,与正在进行仿射变换的三角网格所在的矩形的矩形相交,则当前线程获取的三角网格与正在进行仿射变换的三角网格相交,反之,则不相交。

6.如权利要求5所述的一种移动端美妆优化方法,其特征在于,矩形是否相交的判断步骤为:

获取待进行是否相交判断的矩形A和矩形B,并计算矩形A和矩形B中心点在X轴方向上的距离,以及矩形A和矩形B中心点在Y轴方向上的距离,计算公式为:L1=abs((x0+x1)/2–(x2+x3)/2)βL2=abs((y0+y1)/2–(y2+y3)/2)β其中,L1表示矩形A和矩形B中心点在X轴方向上的距离,abs表示求绝对值的运算函数,x0表示矩形A左下角顶点的横坐标,x1表示矩形A右下角顶点的横坐标,x2表示矩形B左下角顶点的横坐标,x3表示矩形B右下角顶点的横坐标,L2表示矩形A和矩形B中心点在Y轴方向上的距离,y0表示矩形A左下角顶点的纵坐标,y1表示矩形A左上角顶点的纵坐标,y2表示矩形B左下角顶点的纵坐标,y3表示矩形B左上角顶点的纵坐标,β表示距离计算修正因子。

计算矩形A在X轴方向上的边长,矩形B在X轴方向上的边长,计算公式为:L3=abs(x0‑x1)

L4=abs(x2‑x3)

其中,L3表示矩形A在X轴方向上的边长,L4表示矩形B在X轴方向上的边长;

计算矩形A在Y轴方向上的边长,矩形B在Y轴方向上的边长,计算公式为:L5=abs(y0‑y1)

L6=abs(y2‑y3)

其中,L5表示矩形A在Y轴方向上的边长,L6表示矩形B在Y轴方向上的边长;

进行矩形A和矩形B是否相交的判断,当且仅当L1>(L3+L4)/2,且L2>(L5+L6)/2时,矩形A和矩形B不相交,反之,则矩形A和矩形B相交。

7.如权利要求1所述的一种移动端美妆优化方法,其特征在于,所述基于美妆设备性能调整仿射变换的图像大小,具体为,进行仿射变换时,对直播画面每帧画面的仿射变换耗时进行统计:当连续预设帧数的仿射变换耗时均大于预设时间时,若仿射变换不处于低质量模式,则将仿射变换切换为低质量模式,若仿射变换处于低质量模式,则不做处理;

当连续预设帧数的仿射变换耗时均小于设定时间时,若仿射变换处于低质量模式,则将仿射变换切换为高质量模式,若仿射变换处于高质量模式,则不做处理;

其中,所述仿射变换包括低质量模式和高质量模式,所述低质量模式为将仿射变换的图像缩小预设倍数,所述高质量模式为将仿射变换的图像放大预设倍数。

8.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1‑7任一项所述方法的步骤。

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1‑7任一项所述方法的步骤。

10.一种移动端美妆优化系统,其特征在于,包括:获取模块,其用于获取美妆素材和直播画面,并对美妆素材和直播画面中的人脸均进行五官关键点定位;

生成模块,其用于对美妆素材的五官关键点进行三角网格剖分,生成三角网格;

仿射变换模块,其用于根据美妆素材人脸的五官关键点和三角网格,以及直播画面人脸的五官关键点,基于多线程并行处理方式进行仿射变换;

调整模块,其用于基于美妆设备性能调整仿射变换的图像大小,显示美妆素材于直播画面上;

融和模块,其用于将美妆素材人脸与直播画面人脸融合,完成直播画面中人脸的美妆处理。