利索能及
我要发布
收藏
专利号: 2020101126869
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频帧处理方法,包括:

获取包含目标人脸的视频帧中的人脸关键点;

将预设三维表情的关键点投影到所述人脸关键点所在的二维平面中,以使投影结果与所述人脸关键点之间的重投影误差最小化,其中,所述人脸关键点所在的二维平面包括:包含所述人脸关键点的二维图像;

基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数;

基于所确定的表情系数,生成具有所述目标人脸对应的三维表情的三维动画。

2.根据权利要求1所述的方法,所述基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数,包括:对于在预设三维表情的关键点中,预设五官中每项的关键点子集,确定该关键点子集的子投影结果与所述人脸关键点中该项的人脸关键点的最小化的重投影误差;

对于预设五官中每项,基于该项对应的最小化的重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数。

3.根据权利要求2所述的方法,所述基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数,还包括:对于所述预设三维表情的关键点的投影结果的最小化的重投影误差,确定该最小化的重投影误差对应的、所述目标人脸的位姿;以及所述对于预设五官中每项,基于该项对应的最小化的重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数,包括:将所确定的位姿作为迭代初始值,迭代所述目标人脸的位姿和所述目标人脸的总表情中各个所述预设三维表情的表情系数,以使所述预设五官中每项的关键点子集的子投影结果与所述人脸关键点中该项的关键点的重投影误差最小化。

4.根据权利要求1所述的方法,其中,所述获取包含目标人脸的视频帧中的人脸关键点,包括:对各个所述视频帧中的关键点进行对齐,得到对齐后的人脸关键点。

5.根据权利要求1所述的方法,其中,所述基于所确定的表情系数,生成具有所述目标人脸对应的三维表情的三维动画,包括:对于各个所述视频帧中的两个视频帧,对所述两个视频帧的表情系数进行加权平均,并将所述两个视频帧中在后一帧的表情系数更新为所述加权平均的结果,其中,所述两个视频帧为相邻帧,或所述两个视频帧间隔的视频帧数量为预设数量且不超过预设阈值。

6.一种视频帧处理装置,包括:

获取单元,被配置成获取包含目标人脸的视频帧中的人脸关键点;

投影单元,被配置成将预设三维表情的关键点投影到所述人脸关键点所在的二维平面中,以使投影结果与所述人脸关键点之间的重投影误差最小化,其中,所述人脸关键点所在的二维平面包括:包含所述人脸关键点的二维图像;

确定单元,被配置成基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数;

生成单元,被配置成基于所确定的表情系数,生成具有所述目标人脸对应的三维表情的三维动画。

7.根据权利要求6所述的装置,所述确定单元,进一步被配置成按照如下方式执行所述基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数:对于在预设三维表情的关键点中,预设五官中每项的关键点子集,确定该关键点子集的子投影结果与所述人脸关键点中该项的人脸关键点的最小化的重投影误差;

对于预设五官中每项,基于该项对应的最小化的重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数。

8.根据权利要求7所述的装置,所述确定单元,进一步被配置成按照如下方式执行所述基于最小化的所述重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数:对于所述预设三维表情的关键点的投影结果的最小化的重投影误差,确定该最小化的重投影误差对应的、所述目标人脸的位姿;以及所述确定单元,进一步被配置成按照如下方式执行对于预设五官中每项,基于该项对应的最小化的重投影误差,确定各个所述预设三维表情在所述目标人脸对应的三维表情中的表情系数:将所确定的位姿作为迭代初始值,迭代所述目标人脸的位姿和所述目标人脸的总表情中各个所述预设三维表情的表情系数,以使所述预设五官中每项的关键点子集的子投影结果与所述人脸关键点中该项的关键点的重投影误差最小化。

9.根据权利要求6所述的装置,其中,所述获取单元,进一步被配置成按照如下方式执行所述获取包含目标人脸的视频帧中的人脸关键点:对各个所述视频帧中的关键点进行对齐,得到对齐后的人脸关键点。

10.根据权利要求6所述的装置,其中,所述确定单元,进一步被配置成按照如下方式执行所述基于所确定的表情系数,生成具有所述目标人脸对应的三维表情的三维动画:对于各个所述视频帧中的两个视频帧,对所述两个视频帧的表情系数进行加权平均,并将所述两个视频帧中在后一帧的表情系数更新为所述加权平均的结果,其中,所述两个视频帧为相邻帧,或所述两个视频帧间隔的视频帧数量为预设数量且不超过预设阈值。

11.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑5中任一所述的方法。

12.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1‑5中任一所述的方法。