利索能及
我要发布
收藏
专利号: 2021106789459
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种球类赛事文字解说生成方法,其特征在于,包括:获取赛事视频中各帧图像的视觉特征;

将所述赛事视频的视觉特征和所述赛事视频的比赛专业词汇标签输入到预置语义概率模型进行处理,得到运动员动作、球运动轨迹以及赛事解说关键词的语义概念向量;

将所述视觉特征和所述语义概念向量输入到预置语言生成模型,生成所述赛事视频的文字解说。

2.根据权利要求1所述的球类赛事文字解说生成方法,其特征在于,所述获取赛事视频中各帧图像的视觉特征,包括:通过二维卷积神经网络模型提取赛事视频中各帧图像的时间位置特征;

通过三维卷积神经网络模型提取赛事视频中各帧图像的空间位置特征;

融合所述时间位置特征和所述空间位置特征,得到视觉特征。

3.根据权利要求1所述的球类赛事文字解说生成方法,其特征在于,所述将所述赛事视频的视觉特征和所述赛事视频的比赛专业词汇标签输入到预置语义概率模型进行处理,得到运动员动作、球运动轨迹以及赛事解说关键词的语义概念向量,之后还包括:根据各所述语义概念向量的贡献率对所有所述语义概念向量进行特征融合,得到融合后语义概念向量;

相应的,所述将所述视觉特征和所述语义概念向量输入到预置语言生成模型,生成所述赛事视频的文字解说,包括:将所述视觉特征和所述融合后语义概念向量输入到预置语言生成模型,生所述赛事视频的文字解说。

4.根据权利要求1所述的球类赛事文字解说生成方法,其特征在于,所述预置语言生成模型为LSTM模型。

5.根据权利要求1所述的球类赛事文字解说生成方法,其特征在于,所述预置语义概率计算模型的损失函数L为:

式中,N为赛事视频的图像帧数,Si=[Si1,Si2,…,SiK]为赛事视频的第i帧图像的语义概K

念向量,yi=[yi1,yi2,…,yiK]∈[0,1]为赛事视频的第i帧图像的比赛专业词汇标签,K为比赛专业词汇标签长度。