利索能及
我要发布
收藏
专利号: 202010454095X
申请人: 浙江商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种人脸表情互动方法,其特征在于,所述人脸表情互动方法包括:载入预设形象模型;

获取用户的人脸表情图像;

提取所述人脸表情图像的关键点信息;

将所述关键点信息映射到所述预设形象模型,以使所述预设形象模型做出所述关键点信息对应的表情;

所述将所述关键点信息映射到所述预设形象模型,以使所述预设形象模型做出所述关键点信息对应的表情的步骤,包括:按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异,从而将所述关键点信息组合为人脸表情信息;

在所述人脸表情信息与预设的基础表情信息相匹配的情况下,将所述人脸表情信息映射到所述预设形象模型中,以使所述预设形象模型做出所述基础表情信息对应的表情;其中,预设的基础表情包括至少一种,每一种所述基础表情具有对应的基础表情信息;

所述将所述人脸表情信息映射到所述预设形象模型中,以使所述预设形象模型做出所述基础表情信息对应的表情的步骤之后,所述人脸表情互动方法还包括:判断所述人脸表情信息对应的基础表情是否为特定表情,其中,所述特定表情为所述基础表情中的至少一种;

在所述人脸表情信息对应的基础表情是所述特定表情时,显示所述预设形象模型与所述特定表情对应的预设动画;

所述预设形象模型为三维形象模型;所述人脸表情互动方法进一步包括:提取连续多帧的所述人脸表情图像的关键点信息以及三维信息;

将所述关键点信息映射到所述预设形象模型,并基于所述三维信息触发所述预设形象模型的三维动画。

2.根据权利要求1所述的人脸表情互动方法,其特征在于,所述按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异,从而将所述关键点信息组合为人脸表情信息的步骤,包括:将所述关键点按照人脸区域划分为眉毛区域关键点、眼睛区域关键点、鼻子区域关键点、嘴巴区域关键点以及脸部轮廓关键点;

按照连续多帧的所述人脸表情图像的时间顺序比较每一人脸区域中关键点的位置变化;

结合所述预设形象模型和所述每一人脸区域中关键点的位置变化得到所述每一人脸区域的人脸表情信息。

3.根据权利要求2所述的人脸表情互动方法,其特征在于,所述人脸表情信息与预设的基础表情信息相匹配的步骤,包括:将所述人脸表情信息对应的关键点信息与每种预设的基础表情信息的关键点信息的对应关系进行比对,其中,所述预设的基础表情包括至少一种关键点信息;

根据比对结果确认所述预设的基础表情。

4.根据权利要求2所述的人脸表情互动方法,其特征在于,所述提取所述人脸表情图像的关键点信息的步骤,包括:利用预设神经网络对所述人脸表情图像进行识别,得到所述人脸表情图像中预设数量关键点对应的关键点信息。

5.根据权利要求1所述的人脸表情互动方法,其特征在于,所述载入预设形象模型的步骤,包括:

展示数据库中的所有形象模型;

基于用户输入信息选择所述预设形象模型,或基于所述用户输入信息将当前显示的形象模型切换为所述预设形象模型。

6.根据权利要求1所述的人脸表情互动方法,其特征在于,所述载入预设形象模型的步骤之后,所述人脸表情互动方法还包括:获取摄像头采集的互动图像;

在从所述互动图像中未检测到所述用户的人脸或人体的情况下,显示所述预设形象模型的等待动画。

7.根据权利要求1所述的人脸表情互动方法,其特征在于,所述载入预设形象模型的步骤之后,所述人脸表情互动方法还包括:获取摄像头采集的互动图像;

在从所述互动图像中检测到所述用户的人脸或人体的情况下,获取所述用户的人脸表情图像。

8.根据权利要求7所述的人脸表情互动方法,其特征在于,所述在从所述互动图像中检测到所述用户的人脸或人体的情况下,获取所述用户的人脸表情图像的步骤,包括:在从所述互动图像中检测到所述用户的人脸或人体的情况下,判断所述用户的人脸或人体是否处于所述互动图像的预设区域范围内,和/或所述用户的人脸和人体的大小是否大于预设尺寸大小;

若是,获取所述用户的人脸表情图像。

9.根据权利要求7所述的人脸表情互动方法,其特征在于,所述在从所述互动图像中检测到所述用户的人脸或人体的情况下,获取所述用户的人脸表情图像的步骤,包括:在从所述互动图像中检测到所述用户的人脸或人体的情况下,判断所述用户的人脸或人体是否处于所述互动图像的预设区域范围内,和/或所述用户的人脸和人体的大小是否大于预设尺寸大小;

若否,显示引导信息的提示界面。

10.一种互动装置,其特征在于,所述互动装置包括:载入模块,用于载入预设形象模型;

提取模块,用于获取用户的人脸表情图像,还用于提取所述人脸表情图像的关键点信息;

表情模块,用于将所述关键点信息映射到所述预设形象模型,以使所述预设形象模型做出所述关键点信息对应的表情;

所述表情模块,还用于按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异,从而将所述关键点信息组合为人脸表情信息;在所述人脸表情信息与预设的基础表情信息相匹配的情况下,将所述人脸表情信息映射到所述预设形象模型中,以使所述预设形象模型做出所述基础表情信息对应的表情;其中,预设的基础表情包括至少一种,每一种所述基础表情具有对应的基础表情信息;

所述表情模块,还用于判断所述人脸表情信息对应的基础表情是否为特定表情,其中,所述特定表情为所述基础表情中的至少一种;

在所述人脸表情信息对应的基础表情是所述特定表情时,显示所述预设形象模型与所述特定表情对应的预设动画;

所述预设形象模型为三维形象模型,所述表情模块,还用于提取连续多帧的所述人脸表情图像的关键点信息以及三维信息;将所述关键点信息映射到所述预设形象模型,并基于所述三维信息触发所述预设形象模型的三维动画。

11.一种互动装置,其特征在于,所述互动装置包括处理器和存储器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1~9中任一项所述人脸表情互动方法的步骤。

12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被执行时实现如权利要求1~9中任一项所述人脸表情互动方法的步骤。