利索能及
我要发布
收藏
专利号: 2016101894320
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多媒体文件封装方法,其特征在于,应用于摄像机或服务器,包括:

针对采集的每个图像组GOP的多媒体数据,确定所述GOP对应的视频内容变化参数和/或音量参数,其中根据所述GOP的多媒体数据中视频数据的每一参考帧的数据量和/或运动矢量变化总量,确定所述GOP对应的视频内容变化参数;根据所述GOP的多媒体数据中音频数据的音量的平均值和/或音量变化强度,确定所述GOP对应的音量参数;

根据每个GOP对应的视频内容变化参数和/或音量参数,采用第一预设规则,确定每个GOP对应的判定参数;

对每个GOP的多媒体数据进行封装,并将确定的每个GOP对应的判定参数添加到对应的每个媒体表示描述MPD文件中。

2.根据权利要求1所述的方法,其特征在于,当根据每个GOP对应的视频内容变化参数和音量参数,采用第一预设规则,确定每个GOP对应的判定参数时,包括:根据下式确定每个GOP对应的判定参数:

GOP对应的判定参数=所述GOP对应的视频内容变化参数*第一权重值+所述GOP对应的音量参数*第二权重值,其中第一权重值和第二权重值相同或不同。

3.根据权利要求1所述的方法,其特征在于,所述根据所述GOP的多媒体数据中每一参考帧的数据量和运动矢量变化总量,确定所述GOP对应的视频内容变化参数,包括:根据所述GOP的多媒体数据中每一参考帧的数据量和运动矢量变化总量,确定所述GOP中所有参考帧的数据量的和以及运动矢量变化总量的和;

根据所述GOP中包含的参考帧的数量,及所述所有参考帧的数据量的和以及运动矢量变化总量的和,确定所述GOP对应的平均数据量和平均运动矢量变化总量;

根据所述平均数据量和所述平均运动矢量变化总量,确定所述平均数据量的等级值和所述平均运动矢量变化总量的等级值;

根据所述平均数据量的等级值和所述平均运动矢量变化总量的等级值,确定所述GOP对应的视频内容变化参数。

4.根据权利要求1所述的方法,其特征在于,所述根据所述GOP的多媒体数据中每一参考帧的数据量和/或运动矢量变化总量,确定所述GOP对应的视频内容变化参数,包括:根据所述GOP的多媒体数据中每一参考帧的数据量和运动矢量变化总量,确定每一参考帧的数据量的等级值和运动矢量变化总量的等级值;

根据所述GOP中包含的参考帧的数量,及每一参考帧的数据量的等级值和/或运动矢量变化总量的等级值,确定所述GOP对应的视频内容变化参数。

5.根据权利要求4所述的方法,其特征在于,所述根据所述GOP中包含的参考帧的数量,及每一参考帧的数据量的等级值和运动矢量变化总量的等级值,确定所述GOP对应的视频内容变化参数,包括:根据所述GOP中包含的参考帧的数量,及每一参考帧的数据量的等级值和运动矢量变化总量的等级值,确定数据量的等级值的平均值和运动矢量变化总量的等级值的平均值,根据每个平均值对应的权重值,确定所述GOP对应的视频内容变化参数。

6.根据权利要求1所述的方法,其特征在于,所述根据所述GOP的多媒体数据中音频数据的音量的平均值和/或音量变化强度,确定所述GOP对应的音量参数,包括:根据所述GOP的多媒体数据中音频数据的音量的平均值和音量变化强度,确定所述音频数据的音量的等级值和音量变化强度的等级值;

根据所述音量的等级值和/或音量变化强度的等级值,确定所述GOP对应的音量参数。

7.根据权利要求6所述的方法,其特征在于,所述根据所述音量的等级值和音量变化强度的等级值,确定所述GOP对应的音量参数,包括:根据所述音量的等级值和音量变化强度的等级值,及所述音量的等级值和音量变化强度的等级值对应的权重值,确定所述GOP对应的音量参数。

8.根据权利要求1所述的方法,其特征在于,所述根据所述GOP的多媒体数据中视频数据的每一参考帧的数据量和/或运动矢量变化总量,确定所述GOP对应的视频内容变化参数,包括:针对每个参考帧,确定所述参考帧的数据量和运动矢量变化总量;

当所述参考帧非所述GOP中的最后一个参考帧时,根据所述参考帧的数据量和运动矢量变化总量,确定所述参考帧的数据量和运动矢量变化总量的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值;

当所述参考帧为该GOP中的最后一个参考帧时,根据所述参考帧的数据量和运动矢量变化总量,确定所述参考帧的数据量和运动矢量变化总量的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值;根据更新后的所述等级值的均值,确定所述GOP对应的视频内容变化参数,并将所述视频内容变化参数添加到基于DASH分片索引Box中视频内容变化参数对应的字段中。

9.根据权利要求1所述的方法,其特征在于,所述根据所述GOP的多媒体数据中音频数据的音量的平均值和/或音量变化强度,确定所述GOP对应的音量参数,包括:将所述GOP的多媒体数据中的音频数据划分成时长相等的多个时间段;

针对每一时间段,确定所述时间段的音量的平均值和音量变化强度;

当所述时间段非所述GOP中的最后一个时间段时,根据所述时间段的音量的平均值和音量变化强度,确定所述时间段的音量的平均值和音量变化强度的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值;

当所述时间段为该GOP中的最后一个时间段时,根据所述时间段的音量的平均值和音量变化强度,确定所述时间段的音量的平均值和音量变化强度的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值;根据更新后的所述等级值的均值,确定所述GOP对应的音量参数,并将所述音量参数添加到基于DASH分片索引Box中音量参数对应的字段中。

10.一种多媒体文件播放方法,其特征在于,应用于客户端,所述客户端与权利要求1中所述的摄像机或服务器通讯连接,包括:向所述摄像机或服务器发送获取请求,以使所述摄像机或服务器将一个GOP的多媒体数据对应的媒体表示描述MPD文件发送给所述客户端;

接收所述MPD文件,读取所述MPD文件中的所述GOP对应的判定参数;

根据所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率;

将所述第一播放码率发送给所述摄像机或服务器,并以所述第一播放码率对所述摄像机或服务器发送的所述GOP的多媒体数据进行解码播放。

11.根据权利要求10所述的方法,其特征在于,所述根据所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率,包括:根据网络带宽和缓冲区等级中至少一个及所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率。

12.根据权利要求11所述的方法,其特征在于,所述根据网络带宽和缓冲区等级中至少一个及所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率,包括:根据所述GOP对应的判定参数、网络带宽和缓冲区等级,及所述GOP对应的判定参数、网络带宽和缓冲区等级对应的权重值,确定所述GOP的多媒体数据的第一播放码率。

13.根据权利要求10所述的方法,其特征在于,所述将所述第一播放码率发送给所述摄像机或服务器之前,还包括:提取保存的所述GOP之前的设定数量个GOP的多媒体数据的理论播放码率;

判断所述第一播放码率与设定数量个理论播放码率的差值是否都小于预设阈值;

如果是,执行所述将所述第一播放码率发送给所述摄像机或服务器的步骤;

如果否,将所述设定数量个理论播放码率中最前面一个理论播放码率确定为调整后的第一播放码率,并执行将调整后的第一播放码率发送给摄像机或服务器的步骤,将所述第一播放码率保存为所述GOP的多媒体数据的理论播放码率,并将所述调整后的第一播放码率保存为所述GOP的多媒体数据的实际播放码率。

14.一种多媒体文件封装装置,其特征在于,应用于摄像机或服务器,包括:第一确定模块、第二确定模块和封装模块,其中,所述第一确定模块,用于针对采集的每个图像组GOP的多媒体数据,确定所述GOP对应的视频内容变化参数和/或音量参数,其中根据所述GOP的多媒体数据中视频数据的每一参考帧的数据量和/或运动矢量变化总量,确定所述GOP对应的视频内容变化参数;根据所述GOP的多媒体数据中音频数据的音量的平均值和/或音量变化强度,确定所述GOP对应的音量参数;

所述第二确定模块,用于根据每个GOP对应的视频内容变化参数和/或音量参数,采用第一预设规则,确定每个GOP对应的判定参数;

所述封装模块,用于对每个GOP的多媒体数据进行封装,并将确定的每个GOP对应的判定参数添加到对应的每个媒体表示描述MPD文件中。

15.根据权利要求14所述的装置,其特征在于,所述第二确定模块,具体用于根据下式确定每个GOP对应的判定参数:GOP对应的判定参数=所述GOP对应的视频内容变化参数*第一权重值+所述GOP对应的音量参数*第二权重值,其中第一权重值和第二权重值相同或不同。

16.根据权利要求14所述的装置,其特征在于,所述第一确定模块,包括:第一确定子模块、第二确定子模块、第三确定子模块和第四确定子模块,其中,所述第一确定子模块,用于根据所述GOP的多媒体数据中每一参考帧的数据量和运动矢量变化总量,确定所述GOP中所有参考帧的数据量的和以及运动矢量变化总量的和;

所述第二确定子模块,用于根据所述GOP中包含的参考帧的数量,及所述所有参考帧的数据量的和以及运动矢量变化总量的和,确定所述GOP对应的平均数据量和平均运动矢量变化总量;

所述第三确定子模块,用于根据所述平均数据量和所述平均运动矢量变化总量,确定所述平均数据量的等级值和所述平均运动矢量变化总量的等级值;

所述第四确定子模块,用于根据所述平均数据量的等级值和所述平均运动矢量变化总量的等级值,确定所述GOP对应的视频内容变化参数。

17.根据权利要求14所述的装置,其特征在于,所述第一确定模块,包括:第五确定子模块和第六确定子模块,其中,所述第五确定子模块,用于根据所述GOP的多媒体数据中每一参考帧的数据量和运动矢量变化总量,确定每一参考帧的数据量的等级值和运动矢量变化总量的等级值;和/或,根据所述GOP的多媒体数据中音频数据的音量的平均值和音量变化强度,确定所述音频数据的音量的等级值和音量变化强度的等级值;

所述第六确定子模块,用于根据所述GOP中包含的参考帧的数量,及每一参考帧的数据量的等级值和/或运动矢量变化总量的等级值,确定所述GOP对应的视频内容变化参数;和/或,根据所述音量的等级值和/或音量变化强度的等级值,确定所述GOP对应的音量参数。

18.根据权利要求17所述的装置,其特征在于,所述第六确定子模块,具体用于:

根据所述GOP中包含的参考帧的数量,及每一参考帧的数据量的等级值和运动矢量变化总量的等级值,确定数据量的等级值的平均值和运动矢量变化总量的等级值的平均值,根据每个平均值对应的权重值,确定所述GOP对应的视频内容变化参数;和/或,根据所述音量的等级值和音量变化强度的等级值,及所述音量的等级值和音量变化强度的等级值对应的权重值,确定所述GOP对应的音量参数。

19.根据权利要求14所述的装置,其特征在于,所述第一确定模块,具体用于:

针对每个参考帧,确定所述参考帧的数据量和运动矢量变化总量;

当所述参考帧非所述GOP中的最后一个参考帧时,根据所述参考帧的数据量和运动矢量变化总量,确定所述参考帧的数据量和运动矢量变化总量的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值;

当所述参考帧为该GOP中的最后一个参考帧时,根据所述参考帧的数据量和运动矢量变化总量,确定所述参考帧的数据量和运动矢量变化总量的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中数据量和/或运动矢量变化总量对应的字段中保存的等级值的均值,根据更新后的所述等级值的均值,确定所述GOP对应的视频内容变化参数,并将所述视频内容变化参数添加到基于DASH分片索引Box中视频内容变化参数对应的字段中;和/或,将所述GOP的多媒体数据中的音频数据划分成时长相等的多个时间段;

针对每一时间段,确定所述时间段的音量的平均值和音量变化强度;

当所述时间段非所述GOP中的最后一个时间段时,根据所述时间段的音量的平均值和音量变化强度,确定所述时间段的音量的平均值和音量变化强度的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值;

当所述时间段为该GOP中的最后一个时间段时,根据所述时间段的音量的平均值和音量变化强度,确定所述时间段的音量的平均值和音量变化强度的等级值;并根据确定的所述等级值,及基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值,更新所述基于DASH分片索引Box中音量的平均值和/或音量变化强度对应的字段中保存的等级值的均值,根据更新后的所述等级值的均值,确定所述GOP对应的音量参数,并将所述音量参数添加到基于DASH分片索引Box中音量参数对应的字段中。

20.一种多媒体文件播放装置,其特征在于,应用于客户端,所述客户端与权利要求14中所述的摄像机或服务器通讯连接,包括:发送模块、读取模块、第三确定模块和播放模块,其中,所述发送模块,用于向所述摄像机或服务器发送获取请求,以使所述摄像机或服务器将一个GOP的多媒体数据对应的媒体表示描述MPD文件发送给所述客户端;

所述读取模块,用于接收所述MPD文件,读取所述MPD文件中的所述GOP对应的判定参数;

所述第三确定模块,用于根据所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率;

所述播放模块,用于将所述第一播放码率发送给所述摄像机或服务器,并以所述第一播放码率对所述摄像机或服务器发送的所述GOP的多媒体数据进行解码播放。

21.根据权利要求20所述的装置,其特征在于,所述第三确定模块,具体用于根据网络带宽和缓冲区等级中至少一个及所述GOP对应的判定参数,确定所述GOP的多媒体数据的第一播放码率。

22.根据权利要求21所述的装置,其特征在于,所述第三确定模块,具体用于根据所述GOP对应的判定参数、网络带宽和缓冲区等级,及所述GOP对应的判定参数、网络带宽和缓冲区等级对应的权重值,确定所述GOP的多媒体数据的第一播放码率。

23.根据权利要求20所述的装置,其特征在于,还包括:提取模块、判断模块、第四确定模块和保存模块,其中,所述提取模块,用于提取保存的所述GOP之前的设定数量个GOP的多媒体数据的理论播放码率;

所述判断模块,用于判断所述第一播放码率与设定数量个理论播放码率的差值是否都小于预设阈值,如果是,触发所述播放模块,如果否,触发所述第四确定模块;

所述第四确定模块,用于将所述设定数量个理论播放码率中最前面一个理论播放码率确定为调整后的第一播放码率,并触发所述播放模块;

所述保存模块,用于将所述第一播放码率保存为所述GOP的多媒体数据的理论播放码率,并将所述调整后的第一播放码率保存为所述GOP的多媒体数据的实际播放码率。