利索能及
我要发布
收藏
专利号: 2021111100126
申请人: 深圳佳力拓科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于聚焦程度数值的数字电视播放方法,其特征在于,包括:S1、接收数字信号,并将数字信号转化为原始视频与原始音频,在数字电视显示器上播放所述原始视频,同时采用数字电视声音播放器播放所述原始音频;

S2、根据预设的蓝牙通信技术,与预设的移动终端构建蓝牙通道,再通过预先布设的具有第一分辨率的第一摄像头,对数字电视观看者的头部进行图像采集处理,以得到第一头部图像;

S3、将所述第一头部图像输入经过训练的朝向分类模型中进行处理,以得到所述朝向分类模型输出的第一人脸朝向,并判断第一人脸朝向是否指向数字电视显示器;其中,所述朝向预测模型基于预设的机器学习模型训练而成;

S4、若第一人脸朝向指向数字电视显示器,则通过预先布设的声音收集器进行声音采集处理,得到环境声音数据,并将所述环境声音数据与所述原始音频进行对比,以判断是否存在异常声音;

S5、若存在异常声音,则在预设的第一时间窗口内,采用预先布设的具有第二分辨率的第二摄像头,对观看者的眼睛进行图像采集处理,以获取眼睛图像;其中,所述第二分辨率高于所述第一分辨率;

S6、将所述眼睛图像输入经过训练的聚焦程度预测模型中进行处理,以得到所述聚焦程度预测模型输出的聚焦程度数值,并判断所述聚焦程度数值是否小于预设的聚焦程度阈值;其中,所述聚焦程度预测模型基于深度卷积神经网络模型训练而得;

S7、若所述聚焦程度数值小于预设的聚焦程度阈值,则将所述第一时间窗口内的原始视频与原始音频进行截取处理,以生成第一补充视频片段与第一补充音频片段,并通过所述蓝牙通道,将第一补充视频片段与第一补充音频片段发送至移动终端。

2.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法,其特征在于,所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理,以得到所述朝向分类模型输出的第一人脸朝向,并判断第一人脸朝向是否指向数字电视显示器的步骤S3之前,包括:S21、从预设的数据库中调取多个样本数据,并按预设比例对所述多个样本数据进行划分,以得到多个训练数据与多个验证数据;其中,所述数据库中存储的数据为预先拍摄的用于训练使用的头部图像;

S22、对所述多个训练数据与所述多个验证数据分别进行人工标注处理,以标注出人脸朝向,从而得到多个标注训练数据与多个标注验证数据;

S23、调取预设的机器学习模型,并将所述多个标注训练数据输入机器学习模型中进行训练,以得到暂时模型;

S24、采用所述多个标注验证数据对所述暂时模型进行验证处理,以得到验证结果,并判断验证结果是否为验证通过;

S25、若验证结果为验证通过,则将所述暂时模型记为朝向分类模型。

3.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法,其特征在于,所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理,以得到所述朝向分类模型输出的第一人脸朝向,并判断第一人脸朝向是否指向数字电视显示器的步骤S3之后,包括:S31、若第一人脸朝向未指向数字电视显示器,则开启预设的记时器以开始记时;

S32、通过所述第一摄像头,对数字电视观看者的头部继续进行图像采集处理,以得到第二头部图像;

S33、将所述第二头部图像输入所述朝向分类模型中进行处理,以得到所述朝向分类模型输出的第二人脸朝向,并判断第二人脸朝向是否指向数字电视显示器;

S34、若第二人脸朝向指向数字电视显示器,则停止所述记时器,以得到第二时间窗口;

S35、截取所述第二时间窗口内的原始视频与原始音频,以生成第二补充视频片段与第二补充音频片段,并通过所述蓝牙通道,将第二补充视频片段与第二补充音频片段发送至移动终端。

4.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法,其特征在于,所述接收数字信号,并将数字信号转化为原始视频与原始音频,在数字电视显示器上播放所述原始视频,同时采用数字电视声音播放器播放所述原始音频的步骤S1之前,包括:S01、在数字电视声音播放器开始播放音频之前,采用所述声音收集器进行背景声音采集处理,以得到背景声音数据;

所述若第一人脸朝向指向数字电视显示器,则通过预先布设的声音收集器进行声音采集处理,得到环境声音数据,并将所述环境声音数据与所述原始音频进行对比,以判断是否存在异常声音的步骤S4,包括:

S401、若第一人脸朝向指向数字电视显示器,则将所述背景声音数据与所述原始音频进行叠加处理,以得到叠加声音数据;

S402、根据预设的相似度计算方法,计算所述环境声音数据与所述叠加声音数据之间的相似度值,并判断所述相似度值是否大于预设的相似度阈值;

S403、若所述相似度值不大于预设的相似度阈值,则判定存在异常声音。

5.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法,其特征在于,数字电视观看者的数量为多个,移动终端的数量为多个,数字电视观看者与移动终端一一对应;

所述若所述聚焦程度数值小于预设的聚焦程度阈值,则将所述第一时间窗口内的原始视频与原始音频进行截取处理,以生成第一补充视频片段与第一补充音频片段,并通过所述蓝牙通道,将第一补充视频片段与第一补充音频片段发送至移动终端的步骤S7,包括:S701、若所述聚焦程度数值小于预设的聚焦程度阈值,则将聚焦程度数值对应的观看者记为指定观看者;

S702、根据观看者与移动终端的对应关系,获取与所述指定观看者对应的指定移动终端;

S703、将所述第一时间窗口内的原始视频与原始音频进行截取处理,以生成第一补充视频片段与第一补充音频片段;

S704、通过所述蓝牙通道,将第一补充视频片段与第一补充音频片段发送至指定移动终端,但不发送给其他移动终端。

6.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法,其特征在于,若所述聚焦程度数值小于预设的聚焦程度阈值,则将所述第一时间窗口内的原始视频与原始音频进行截取处理,以生成第一补充视频片段与第一补充音频片段,并通过所述蓝牙通道,将第一补充视频片段与第一补充音频片段发送至移动终端的步骤S7之后,包括:S71、通过蓝牙通道,接收移动终端发送的暂停播放指令;其中,所述暂停播放指令的生成条件为,移动终端中的第一补充视频片段与第一补充音频片段开始播放;

S72、根据所述暂停播放指令,暂停原始视频与原始音频的播放;

S73、判断是否接收到来自于移动终端的继续播放指令;其中,所述继续播放指令的生成条件为,移动终端中的第一补充视频片段与第一补充音频片段播放完成;

S74、执行继续播放操作,以继续播放原始视频与原始音频的播放。

7.一种基于聚焦程度数值的数字电视播放装置,其特征在于,包括:数字信号接收单元,用于接收数字信号,并将数字信号转化为原始视频与原始音频,在数字电视显示器上播放所述原始视频,同时采用数字电视声音播放器播放所述原始音频;

蓝牙通道构建单元,用于根据预设的蓝牙通信技术,与预设的移动终端构建蓝牙通道,再通过预先布设的具有第一分辨率的第一摄像头,对数字电视观看者的头部进行图像采集处理,以得到第一头部图像;

第一人脸朝向判断单元,用于将所述第一头部图像输入经过训练的朝向分类模型中进行处理,以得到所述朝向分类模型输出的第一人脸朝向,并判断第一人脸朝向是否指向数字电视显示器;其中,所述朝向预测模型基于预设的机器学习模型训练而成;

环境声音数据获取单元,用于若第一人脸朝向指向数字电视显示器,则通过预先布设的声音收集器进行声音采集处理,得到环境声音数据,并将所述环境声音数据与所述原始音频进行对比,以判断是否存在异常声音;

眼睛图像获取单元,用于若存在异常声音,则在预设的第一时间窗口内,采用预先布设的具有第二分辨率的第二摄像头,对观看者的眼睛进行图像采集处理,以获取眼睛图像;其中,所述第二分辨率高于所述第一分辨率;

聚焦程度数值判断单元,用于将所述眼睛图像输入经过训练的聚焦程度预测模型中进行处理,以得到所述聚焦程度预测模型输出的聚焦程度数值,并判断所述聚焦程度数值是否小于预设的聚焦程度阈值;其中,所述聚焦程度预测模型基于深度卷积神经网络模型训练而得;

截取处理单元,用于若所述聚焦程度数值小于预设的聚焦程度阈值,则将所述第一时间窗口内的原始视频与原始音频进行截取处理,以生成第一补充视频片段与第一补充音频片段,并通过所述蓝牙通道,将第一补充视频片段与第一补充音频片段发送至移动终端。

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。