利索能及
我要发布
收藏
专利号: 2018114229404
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人脸识别的直播互动方法,其特征在于,所述基于人脸识别的直播互动方法,包括:获取脸部表情,并将所述脸部表情对应的脸部表情图片存储于图片存储库中;

根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情,所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系;

将获取到的所述表情包表情输出到直播互动界面中进行展示。

2.如权利要求1所述的一种基于人脸识别的直播互动方法,其特征在于,在所述获取脸部表情,并将所述脸部表情对应的脸部表情图片存储于图片存储库中之前,包括:获取代表脸部不同表情的脸部表情图片,所述脸部表情图片包括脸部微动作图片组,所述脸部微动作图片组包括完成脸部微小表情动作的连续多帧图片;

根据自定义映射规则建立所述脸部表情图片与表情包表情之间的映射关系,所述表情包表情从网络表情包库中获得;

根据所述脸部表情图片、所述表情包表情和所述映射关系建立表情库。

3.如权利要求1所述的一种基于人脸识别的直播互动方法,其特征在于,所述获取脸部表情,并将所述脸部表情对应的脸部表情图片存储于图片存储库中,包括:调用客户端的摄像头拍摄用户的脸部表情,并将拍摄到的脸部表情图片存储于所述图片存储库中。

4.如权利要求1所述的一种基于人脸识别的直播互动方法,其特征在于,在所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情之前,包括:对获取到的所述脸部表情图片进行灰度化处理,获得灰度图像;

对所述灰度图像进行增强处理,具体公式如公式(1)所示:

公式(1)中,x、y分别表示图像中点的横、纵坐标,f(x,y)表示原图的灰度值,g(x,y)表示增强图像的灰度值,h1表示满足 时的最大灰度值,h2表示满足 时的最小灰度值,hist[]表示当前图像

的灰度值直方图,N表示当前图像的总像素数。

5.如权利要求1所述的一种基于人脸识别的直播互动方法,其特征在于,所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情,包括:识别获取到的所述脸部表情图片中所包含的五官动作;

根据所述脸部表情图片、识别到的所述五官动作和所述映射关系从所述表情库中获取对应的所述表情包表情。

6.如权利要求5所述的一种基于人脸识别的直播互动方法,其特征在于,所述识别获取到的所述脸部表情图片中所包含的五官动作,包括:根据MtCNN网络识别所述脸部表情图片,所述MtCNN网络包括PNet网络结构、RNet网络结构和ONet网络结构;

获取所述脸部表情图片后,调用所述PNet网络结构对所述脸部表情图片进行非极大值抑制算法NMS计算后产生若干个候选框以及每个候选框的置信度;

从所述脸部表情图片的原图像上截取出所述PNet网络结构确定的所有图像片段,并将所有图像片段进行缩放后传送给所述RNet网络结构;

调用所述RNet网络结构对所有图像片段进行所述NMS计算后得到每个候选框的置信度和修正值,并将置信度高于阈值的候选框加上修正值进行修正;

从所述脸部表情图片的原图像上截取出所述RNet网络结构确定的所有图像片段,并将所有图像片段传送给所述ONet网络结构;

调用所述ONet网络结构对所有图像片段的候选框进行所述NMS计算后得到每个候选框的置信度和修正值,对置信度高于阈值的候选框进行修正后产生多个关键点坐标;

根据所述关键点坐标识别出所述脸部表情图片中所包含的五官动作。

7.如权利要求1所述的一种基于人脸识别的直播互动方法,其特征在于,所述将获取到的所述表情包表情输出到直播互动界面中进行展示,包括:获取根据所述脸部表情图片所选取的对应的所述表情包表情;

将所述表情包表情传送至直播互动界面的对话框中,并从所述对话框中将所述表情包表情发送至直播互动界面中。

8.一种基于人脸识别的直播互动装置,其特征在于,所述基于人脸识别的直播互动装置包括:获取模块,设置为获取脸部表情,并将所述脸部表情对应的脸部表情图片存储于图片存储库中;

匹配模块,设置为根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情,所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系;

输出模块,设置为将获取到的所述表情包表情输出到直播互动界面中进行展示。

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述基于人脸识别的直播互动方法的步骤。

10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述基于人脸识别的直播互动方法的步骤。