欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2024100783113
申请人: 成都亚度克升科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于人工智能和视频处理的文本推荐方法,其特征在于,包括:

检测用户是否开启书籍阅读操作;

若检测到用户开启书籍阅读操作,则打开前置摄像头获取用户阅读书籍时的视频并同时录制手机屏幕得到屏幕录制视频;

将所述用户阅读书籍时的视频和所述屏幕录制视频输入到兴趣段落确定模型以确定书籍中的多个初始兴趣段落,所述兴趣段落确定模型为Transformer模型,所述兴趣段落确定模型的输入为所述用户阅读书籍时的视频和所述屏幕录制视频,所述兴趣段落确定模型的输出为书籍中的多个初始兴趣段落,所述兴趣段落确定模型包括视频匹配层、段落动作确定层、兴趣程度确定层、兴趣段落筛选层视频匹配层的输入为所述用户阅读书籍时的视频和所述屏幕录制视频,视频匹配层的输出为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频,段落动作确定层的输入为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频,段落动作确定层的输出为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列,兴趣程度确定层的输入为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列,兴趣程度确定层的输出为书籍的每一个段落的兴趣程度,兴趣段落筛选层的输入为书籍的每一个段落的兴趣程度,兴趣段落筛选层的输出为多个初始兴趣段落;

基于所述书籍中的多个初始兴趣段落对应的文字内容确定目标段落;

基于所述目标段落的文字内容使用生成对抗网络生成段落描述图像;

将所述段落描述图像输入到封面确定模型得到目标书籍封面;

将所述目标书籍封面对应的目标书籍推荐给用户;

所述方法还包括:

获取用户对所述目标书籍的不感兴趣操作;

响应于所述用户对所述目标书籍的不感兴趣操作,将所述目标段落从所述多个初始兴趣段落中剔除得到剔除后的多个段落;

基于所述剔除后的多个段落的文字内容使用所述生成对抗网络生成多个段落描述图像;

获取用户选定的段落描述图像,所述用户选定的段落描述图像为用户从多个段落描述图像选取出的段落描述图像;

将所述用户选定的段落描述图像输入到所述封面确定模型得到待推荐书籍封面;

将所述待推荐书籍封面对应的待推荐书籍推荐给用户。

2.如权利要求1所述的基于人工智能和视频处理的文本推荐方法,其特征在于,所述检测用户是否开启书籍阅读操作包括:检测用户是否点击开始阅读按钮。

3.如权利要求1所述的基于人工智能和视频处理的文本推荐方法,其特征在于,所述生成对抗网络的输入为所述目标段落的文字内容,所述生成对抗网络的输出为段落描述图像。

4.一种基于人工智能和视频处理的文本推荐系统,其特征在于,包括:

检测模块,用于检测用户是否开启书籍阅读操作;

获取模块,用于若检测到用户开启书籍阅读操作,则打开前置摄像头获取用户阅读书籍时的视频并同时录制手机屏幕得到屏幕录制视频;

初始段落确定模块,用于将所述用户阅读书籍时的视频和所述屏幕录制视频输入到兴趣段落确定模型以确定书籍中的多个初始兴趣段落,所述兴趣段落确定模型为Transformer模型,所述兴趣段落确定模型的输入为所述用户阅读书籍时的视频和所述屏幕录制视频,所述兴趣段落确定模型的输出为书籍中的多个初始兴趣段落,所述兴趣段落确定模型包括视频匹配层、段落动作确定层、兴趣程度确定层、兴趣段落筛选层视频匹配层的输入为所述用户阅读书籍时的视频和所述屏幕录制视频,视频匹配层的输出为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频,段落动作确定层的输入为书籍的每一个段落对应的用户阅读书籍时的分割视频、书籍的每一个段落对应的屏幕录制分割视频,段落动作确定层的输出为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列,兴趣程度确定层的输入为书籍的每一个段落对应的阅读时长、面部表情序列、用户的手势操作、眼部动作序列,兴趣程度确定层的输出为书籍的每一个段落的兴趣程度,兴趣段落筛选层的输入为书籍的每一个段落的兴趣程度,兴趣段落筛选层的输出为多个初始兴趣段落;

目标段落确定模块,用于基于所述书籍中的多个初始兴趣段落对应的文字内容确定目标段落;

段落描述图像生成模块,用于基于所述目标段落的文字内容使用生成对抗网络生成段落描述图像;

目标书籍封面确定模块,用于将所述段落描述图像输入到封面确定模型得到目标书籍封面;

推荐模块,用于将所述目标书籍封面对应的目标书籍推荐给用户;

所述系统还用于:

获取用户对所述目标书籍的不感兴趣操作;

响应于所述用户对所述目标书籍的不感兴趣操作,将所述目标段落从所述多个初始兴趣段落中剔除得到剔除后的多个段落;

基于所述剔除后的多个段落的文字内容使用所述生成对抗网络生成多个段落描述图像;

获取用户选定的段落描述图像,所述用户选定的段落描述图像为用户从多个段落描述图像选取出的段落描述图像;

将所述用户选定的段落描述图像输入到所述封面确定模型得到待推荐书籍封面;

将所述待推荐书籍封面对应的待推荐书籍推荐给用户。

5.如权利要求4所述的基于人工智能和视频处理的文本推荐系统,其特征在于,所述检测模块还用于:检测用户是否点击开始阅读按钮。

6.如权利要求4所述的基于人工智能和视频处理的文本推荐系统,其特征在于,所述生成对抗网络的输入为所述目标段落的文字内容,所述生成对抗网络的输出为段落描述图像。