利索能及
我要发布
收藏
专利号: 2019101427933
申请人: 深圳市商汤科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频数据处理方法,其特征在于,包括:获得第一帧率的第一视频数据流;

获得所述第一视频数据流中连续两帧视频数据中间时刻的时间,根据所述时间得到连续两帧视频数据间所有事件的运动数据;

根据所述第一视频数据流和所述运动数据,得到第二帧率的第二视频数据流;

所述第二帧率大于所述第一帧率;

其中,所述根据所述第一视频数据流和所述运动数据,得到第二帧率的第二视频数据流,包括:

从所述第一视频数据流中的多帧视频图像中,得到每两帧连续视频图像;

从所述运动数据中的多个事件图像中,得到所述每两帧连续视频图像中间时刻的对应事件图像;

根据所述每两帧连续视频图像和对应事件图像,得到每两帧视频图像中间时刻的相对运动状态;

根据所述每两帧视频图像中间时刻的相对运动状态,对所述每两帧视频图像进行中间帧的视频插帧处理,得到所述第二视频数据流。

2.根据权利要求1所述的方法,其特征在于,所述获得所述第一视频数据流中连续两帧视频数据中间时刻的时间,包括:从所述第一视频数据流中解析出连续两帧视频图像及所述两帧视频图像分别对应的时间戳;

根据所述两帧视频图像分别对应的时间戳,得到所述时间。

3.根据权利要求1所述的方法,其特征在于,所述根据所述时间得到连续两帧视频数据间所有事件的运动数据,包括:获得在所述时间对应运动场景中运动光流的光强度变化情况;

根据所述光强度变化情况得到对应事件的运动数据,记录所有事件的运动数据。

4.根据权利要求3所述的方法,其特征在于,所述运动数据包括:事件发生时的时间、事件发生时的位置、和/或事件发生时的属性;

所述事件发生时的属性,用于表征在所述两帧视频图像的中间时刻图像中像素亮度增加或像素亮度减小的属性。

5.根据权利要求1所述的方法,其特征在于,所述根据所述每两帧视频图像中间时刻的相对运动状态,对所述每两帧视频图像进行中间帧的视频插帧处理,得到所述第二视频数据流,包括:

根据所述每两帧视频图像中间时刻的相对运动状态,对所述每两帧视频图像进行卷积并求和,得到插入所述每两帧视频图像中间时刻的中间帧图像。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:在所述每两帧视频图像的中间时刻插入所述中间帧图像后,由所述每两帧视频图像和所述中间帧图像构成新的视频流,将所述新的视频流确定为所述第二视频数据流。

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述根据所述第一视频数据流和所述运动数据,得到第二帧率的第二视频数据流,包括:将所述第一视频数据流和所述运动数据输入视频插帧处理网络;

通过所述视频插帧处理网络对所述第一视频数据流和所述运动数据进行处理,输出得到第二帧率的第二视频数据流。

8.根据权利要求7所述的方法,其特征在于,所述第一视频数据流由第一视频图像序列构成,所述运动数据由事件图像序列构成的情况下,所述通过所述视频插帧处理网络对所述第一视频数据流和所述运动数据进行处理,输出得到第二帧率的第二视频数据流,包括:从所述第一视频图像序列中获得连续两帧的视频图像数据;

从所述事件图像序列中,获得对应所述连续两帧的视频图像数据的多个事件图像数据;

对所述连续两帧的视频图像数据和所述多个事件图像数据分别进行特征提取,得到特征提取结果;

根据所述特征提取结果得到对应的卷积核;

根据所述卷积核对所述连续两帧的视频图像数据分别进行卷积处理并求和,得到插入所述连续两帧的视频图像数据的中间帧数据;

其中,所述根据所述特征提取结果得到对应的卷积核,包括:根据所述特征提取结果,得到所述连续两帧的视频图像数据中间时刻的相对运动状态,将所述相对运动状态以每个像素对应一个卷积核的形式进行保存,得到多个卷积核。

9.根据权利要求8所述的方法,其特征在于,所述根据所述卷积核对所述连续两帧的视频图像数据分别进行卷积处理并求和,得到插入所述连续两帧的视频图像数据的中间帧数据,包括:

所述连续两帧的视频图像数据为第一视频图像数据和第二视频图像数据情况下,将第一卷积核对所述第一视频图像数据进行卷积处理,得到第一处理结果,将第二卷积核对所述第二视频图像数据进行卷积处理,得到第二处理结果;

对所述第一处理结果和所述第二处理结果进行求和处理,得到所述中间帧数据。

10.根据权利要求8所述的方法,其特征在于,所述多个事件图像数据,为基于所述视频图像数据中间时刻的视频帧数量划分规则得到。

11.一种视频数据处理装置,其特征在于,所述装置包括:第一数据流获得模块,用于获得第一帧率的第一视频数据流;

运动数据获得模块,用于获得所述第一视频数据流中连续两帧视频数据中间时刻的时间,根据所述时间得到连续两帧视频数据间所有事件的运动数据;

第二数据流获得模块,用于根据所述第一视频数据流和所述运动数据,得到第二帧率的第二视频数据流;

所述第二帧率大于所述第一帧率;

其中,所述第二数据流获得模块,包括:第一获得子模块,用于从所述第一视频数据流中的多帧视频图像中,得到每两帧连续视频图像;

第二获得子模块,用于从所述运动数据中的多个事件图像中,得到所述每两帧连续视频图像中间时刻的对应事件图像;

第三获得子模块,用于根据所述每两帧连续视频图像和对应事件图像,得到每两帧视频图像中间时刻的相对运动状态;

插帧处理子模块,用于根据所述每两帧视频图像中间时刻的相对运动状态,对所述每两帧视频图像进行中间帧的视频插帧处理,得到所述第二视频数据流。

12.根据权利要求11所述的装置,其特征在于,所述运动数据获得模块,进一步用于:从所述第一视频数据流中解析出连续两帧视频图像及所述两帧视频图像分别对应的时间戳;

根据所述两帧视频图像分别对应的时间戳,得到所述时间。

13.根据权利要求11所述的装置,其特征在于,所述运动数据获得模块,进一步用于:获得在所述时间对应运动场景中运动光流的光强度变化情况;

根据所述光强度变化情况得到对应事件的运动数据,记录所有事件的运动数据。

14.根据权利要求13所述的装置,其特征在于,所述运动数据包括:事件发生时的时间、事件发生时的位置、和/或事件发生时的属性;

所述事件发生时的属性,用于表征在所述两帧视频图像的中间时刻图像中像素亮度增加或像素亮度减小的属性。

15.根据权利要求11所述的装置,其特征在于,所述插帧处理子模块,进一步用于:根据所述每两帧视频图像中间时刻的相对运动状态,对所述每两帧视频图像进行卷积并求和,得到插入所述每两帧视频图像中间时刻的中间帧图像。

16.根据权利要求15所述的装置,其特征在于,所述装置还包括:新数据流处理模块,用于在所述每两帧视频图像的中间时刻插入所述中间帧图像后,由所述每两帧视频图像和所述中间帧图像构成新的视频流,将所述新的视频流确定为所述第二视频数据流。

17.根据权利要求11至16中任一项所述的装置,其特征在于,所述第二数据流获得模块,包括:

第一处理子模块,用于将所述第一视频数据流和所述运动数据输入视频插帧处理网络;

第二处理子模块,用于通过所述视频插帧处理网络对所述第一视频数据流和所述运动数据进行处理,输出得到第二帧率的第二视频数据流。

18.根据权利要求17所述的装置,其特征在于,所述第一视频数据流由第一视频图像序列构成,所述运动数据由事件图像序列构成的情况下,所述第二处理子模块,包括:第一图像数据获得单元,用于从所述第一视频图像序列中获得连续两帧的视频图像数据;

第二图像数据获得单元,用于从所述事件图像序列中,获得对应所述连续两帧的视频图像数据的多个事件图像数据;

特征提取单元,用于对所述连续两帧的视频图像数据和所述多个事件图像数据分别进行特征提取,得到特征提取结果;

卷积获得单元,用于根据所述特征提取结果得到对应的卷积核;

卷积处理单元,用于根据所述卷积核对所述连续两帧的视频图像数据分别进行卷积处理并求和,得到插入所述连续两帧的视频图像数据的中间帧数据;

其中,所述卷积获得单元,进一步用于:根据所述特征提取结果,得到所述连续两帧的视频图像数据中间时刻的相对运动状态,将所述相对运动状态以每个像素对应一个卷积核的形式进行保存,得到多个卷积核。

19.根据权利要求18所述的装置,其特征在于,所述卷积处理单元,进一步用于:所述连续两帧的视频图像数据为第一视频图像数据和第二视频图像数据情况下,将第一卷积核对所述第一视频图像数据进行卷积处理,得到第一处理结果,将第二卷积核对所述第二视频图像数据进行卷积处理,得到第二处理结果;

对所述第一处理结果和所述第二处理结果进行求和处理,得到所述中间帧数据。

20.根据权利要求18所述的装置,其特征在于,所述多个事件图像数据,为基于所述视频图像数据中间时刻的视频帧数量划分规则得到。

21.一种电子设备,其特征在于,包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:执行权利要求1至10中任意一项所述的方法。

22.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。