利索能及
我要发布
收藏
专利号: 2019106461254
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种用于输出信息的方法,包括:获取待编码的视频和所述视频的基础特征,其中,所述基础特征包括以下至少一项:帧率,帧宽,帧高,时长,码率;

将所述视频分成第一预定数目段视频,并从每段视频中按预定时间间隔抽取第二预定数目的视频帧,得到视频帧集合;

从所述视频帧集合中提取RGB直方图特征、帧差直方图特征、深度学习特征,其中,RGB直方图特征包括RGB颜色直方图特征和/或RGB余弦直方图特征,帧差直方图特征包括帧差颜色直方图特征和/或帧差余弦直方图特征,深度学习特征包括深度学习RGB特征和/或深度学习帧差特征;

将所述RGB直方图特征、所述帧差直方图特征、所述深度学习特征与所述基础特征级联后进行固定码率系数分类,得到所述视频的固定码率系数并输出。

2.根据权利要求1所述的方法,其中,所述RGB直方图特征通过如下步骤提取:对于所述视频帧集合中的视频帧,计算该视频帧的RGB颜色直方图特征和RGB余弦直方图特征;

将每段视频帧集合得到的RGB颜色直方图特征取平均,得到RGB颜色直方图特征序列;

将每段视频帧集合得到的RGB余弦直方图特征取平均,得到RGB余弦直方图特征序列。

3.根据权利要求1所述的方法,其中,所述帧差直方图特征通过如下步骤提取:对于所述视频帧集合中时间间隔为预定时间间隔的预定倍数的两帧图像,计算其帧差图;

计算各帧差图的帧差颜色直方图特征和帧差余弦直方图特征;

将每段视频帧集合得到帧差图颜色直方图特征取平均,得到帧差图颜色直方图特征序列;

将每段视频帧集合得到帧差图余弦直方图特征取平均,得到帧差图余弦直方图特征序列。

4.根据权利要求1所述的方法,其中,所述深度学习特征通过如下步骤提取:从每段视频帧集合中随机抽取出一个视频帧组成RGB图像集;

从每段视频帧集合中按所述预定时间间隔抽取出两个视频帧,计算出帧差图,组成帧差图集;

将所述RGB图像集输入预先训练的第一时序分割网络,得到深度学习RGB特征;

将所述帧差图集输入预先训练的第二时序分割网络,得到深度学习帧差特征。

5.根据权利要求4所述的方法,其中,所述将所述RGB直方图特征、所述帧差直方图特征、所述深度学习特征与所述基础特征级联后进行固定码率系数分类,包括:将所述RGB直方图特征、所述帧差直方图特征、所述深度学习特征输入预先训练的注意力序列模型,得到融合特征;

将所述融合特征和所述基础特征级联,利用全连接层和softmax函数进行固定码率系数分类。

6.根据权利要求5所述的方法,其中,所述第一时序分割网络、所述第二时序分割网络和所述注意力序列模型的损失函数包括以下至少一项:交叉熵损失、均值损失、方差损失。

7.根据权利要求5所述的方法,其中,所述帧差直方图特征包括不同时间尺度的帧差图特征。

8.一种用于输出信息的装置,包括:获取单元,被配置成获取待编码的视频和所述视频的基础特征,其中,所述基础特征包括以下至少一项:帧率,帧宽,帧高,时长,码率;

切分单元,被配置成将所述视频分成第一预定数目段视频,并从每段视频中按预定时间间隔抽取第二预定数目的视频帧,得到视频帧集合;

提取单元,被配置成从所述视频帧集合中提取RGB直方图特征、帧差直方图特征、深度学习特征,其中,RGB直方图特征包括RGB颜色直方图特征和/或RGB余弦直方图特征,帧差直方图特征包括帧差颜色直方图特征和/或帧差余弦直方图特征,深度学习特征包括深度学习RGB特征和/或深度学习帧差特征;

分类单元,被配置成将所述RGB直方图特征、所述帧差直方图特征、所述深度学习特征与所述基础特征级联后进行固定码率系数分类,得到所述视频的固定码率系数并输出。

9.根据权利要求8所述的装置,其中,所述提取单元进一步被配置成:对于所述视频帧集合中的视频帧,计算该视频帧的RGB颜色直方图特征和RGB余弦直方图特征;

将每段视频帧集合得到的RGB颜色直方图特征取平均,得到RGB颜色直方图特征序列;

将每段视频帧集合得到的RGB余弦直方图特征取平均,得到RGB余弦直方图特征序列。

10.根据权利要求8所述的装置,其中,所述提取单元进一步被配置成:对于所述视频帧集合中时间间隔为预定时间间隔的预定倍数的两帧图像,计算其帧差图;

计算各帧差图的帧差颜色直方图特征和帧差余弦直方图特征;

将每段视频帧集合得到帧差图颜色直方图特征取平均,得到帧差图颜色直方图特征序列;

将每段视频帧集合得到帧差图余弦直方图特征取平均,得到帧差图余弦直方图特征序列。

11.根据权利要求8所述的装置,其中,所述提取单元进一步被配置成:从每段视频帧集合中随机抽取出一个视频帧组成RGB图像集;

从每段视频帧集合中按所述预定时间间隔抽取出两个视频帧,计算出帧差图,组成帧差图集;

将所述RGB图像集输入预先训练的第一时序分割网络,得到深度学习RGB特征;

将所述帧差图集输入预先训练的第二时序分割网络,得到深度学习帧差特征。

12.根据权利要求11所述的装置,其中,所述分类单元进一步被配置成:将所述RGB直方图特征、所述帧差直方图特征、所述深度学习特征输入预先训练的注意力序列模型,得到融合特征;

将所述融合特征和所述基础特征级联,利用全连接层和softmax函数进行固定码率系数分类。

13.根据权利要求12所述的装置,其中,所述第一时序分割网络、所述第二时序分割网络和所述注意力序列模型的损失函数包括以下至少一项:交叉熵损失、均值损失、方差损失。

14.根据权利要求12所述的装置,其中,所述帧差直方图特征包括不同时间尺度的帧差图特征。

15.一种电子设备,包括:

一个或多个处理器;

存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑7中任一所述的方法。

16.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1‑7中任一所述的方法。