利索能及
我要发布
收藏
专利号: 2019103057663
申请人: 佛山市丰智胜教育咨询服务有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种在线视频交互的网络保障方法,其特征在于,包括以下步骤:S100、基于进行在线视频的服务器采集网络延迟状态下用户的画面,对画面进行脸部识别,提取面部表情特征以为所述用户建立一对应网络延迟状态的表情识别模型库;

S110、至少两位用户通过服务器进行视频交互,分别对所述用户的当前节点与服务器之间的网络进行网络状态检测;

S120、当其中一位用户的网络状态低于预设网络阈值时,将该用户当前的视频数据流中提取至少一帧画面;

S130、对所述画面进行表情识别,提取当前面部表情特征,判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征,若是,则执行步骤S140,若否,则返回步骤S120;

S140、自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点,通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器,建立新的网络连接;

S150、将该用户当前的视频数据流中提取至少一帧画面;

S160、对所述画面进行表情识别,提取当前面部表情特征,判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征,若是,则返回步骤S140,若否,则执行步骤S170;以及

S170、结束;

所述步骤S100中包括以下步骤:S101、对画面进行脸部识别,建立一包含用户脸部的框型脸部区域,并自所述框型脸部区域的中心为原点,建立平面坐标系;

S102、自所述框型脸部区域内设置表情特征点组合,所述表情特征点组合包括多个预设的位置关系的表情特征点;

S103、根据各个所述表情特征点的在平面坐标系内坐标形成坐标组合,并将多个坐标组合建立表情识别模型库;

所述步骤S130中包括以下步骤:S131、对当前画面进行脸部识别,建立一包含用户脸部的框型脸部区域,并自所述框型脸部区域的中心为原点,建立平面坐标系;

S132、自所述框型脸部区域内设置表情特征点组合,所述表情特征点组合包括多个预设的位置关系的表情特征点;

S133、根据各个所述表情特征点的在平面坐标系的坐标;

S134、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值,则判断所述用户为延迟用户,并执行步骤S140;若否,则判断所述用户为非延迟用户,并执行步骤S120;

所述步骤S160中包括以下步骤:S161、对当前画面进行脸部识别,建立一包含用户脸部的框型脸部区域,并自所述框型脸部区域的中心为原点,建立平面坐标系;

S162、自所述框型脸部区域内设置表情特征点组合,所述表情特征点组合包括多个预设的位置关系的表情特征点;

S163、根据各个所述表情特征点的在平面坐标系的坐标;

S164、计算当前画面的所述表情特征点与所述表情识别模型库中任一坐标组合中对应的各个表情特征点的平均误差值小于一预设阈值,则判断所述用户为延迟用户,并执行步骤S140;若否,则判断所述用户为非延迟用户,并执行步骤S120。

2.如权利要求1所述的在线视频交互的网络保障方法,其特征在于,所述步骤S140中,自预设备用网络中转节点组中选择最优备用网络中转节点,包括以下步骤:S141、获得每个所述备用网络中转节点与所述延迟用户的网络节点的第一ping值;

S142、获得每个所述备用网络中转节点与所述服务器的第二ping值;

S143、获得每个所述备用网络中转节点的第一ping值与第二ping值的ping总和;以及S144、将ping总和最小的所述备用网络中转节点作为最优备用网络中转节点。

3.如权利要求1所述的在线视频交互的网络保障方法,其特征在于,所述步骤S120中,将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面;

S130、对所述多帧画面进行表情识别,判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值,若是,则执行步骤S140,若否,则返回步骤S120。

4.如权利要求1所述的在线视频交互的网络保障方法,其特征在于,所述步骤S150中,将该用户当前的视频数据流中按照预设顺时间间隔提取多帧画面;

S160、对所述多帧画面进行表情识别,判断所述多帧画面中符合所述表情识别模型库中的面部表情特征的概率是否大于预设阈值,若是,则执行步骤S140,若否,则返回步骤S170。

5.一种在线视频交互的网络保障系统,其特征在于,用于实现如权利要求1至4中任意一项所述的在线视频交互的网络保障方法,包括:表情模型模块,基于进行在线视频的服务器采集网络延迟状态下用户的画面,提取面部表情特征以建立一对应网络延迟状态的表情识别模型库;

网络监测模块,至少两位用户通过服务器进行视频交互,分别对所述用户的当前节点与服务器之间的网络进行网络状态检测;

第一画面提取模块,当其中一位用户的网络状态低于预设网络阈值时,将该用户当前的视频数据流中提取至少一帧画面;

第一表情匹配模块,对所述画面进行表情识别,提取当前面部表情特征,判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征,若是,则执行节点更换模块,若否,则返回第一画面提取模块;

节点更换模块,自预设备用网络中转节点组中选出一未被所述延迟用户使用过的备用网络中转节点,通过所述备用网络中转节点桥接所述延迟用户的网络节点与服务器,建立新的网络连接;

第二画面提取模块,将该用户当前的视频数据流中提取至少一帧画面;

第二表情匹配模块,对所述画面进行表情识别,提取当前面部表情特征,判断所述当前面部表情特征是否符合所述表情识别模型库中的面部表情特征,若是,则返回节点更换模块,若否,则结束。

6.一种在线视频交互的网络保障设备,其特征在于,包括:处理器;

存储器,其中存储有所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任意一项所述在线视频交互的网络保障方法的步骤。

7.一种计算机可读存储介质,用于存储程序,其特征在于,所述程序被执行时实现权利要求1至4中任意一项所述在线视频交互的网络保障方法的步骤。