利索能及
我要发布
收藏
专利号: 2016106974618
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-11-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频图像处理方法,包括:获取直播视频内容的视频图像以及待绘制的业务对象的展示信息,所述业务对象的展示信息包括所述业务对象在所述视频图像中的绘制位置的信息;

采用计算机绘图方式在所述视频图像中的绘制位置绘制所述业务对象,并且为绘制的所述业务对象设置业务内容链接;

响应于用户对在播放所述直播视频内容的界面上展现的所述业务对象的操作,获取所述业务内容链接指向的业务内容,并且展现所述业务内容,其中,所述获取待绘制的业务对象的展示信息,包括:确定所述视频图像中业务对象的绘制位置;

其中,所述确定所述视频图像中业务对象的绘制位置包括:从所述视频图像确定目标对象的特征点,根据目标对象的特征点,使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型,确定所述业务对象在所述视频图像中的绘制位置,所述卷积网络模型基于业务对象样本图像训练得到,所述业务对象样本图像标注有所述业务对象的位置信息和置信度,所述置信度用于指示业务对象展示在当前位置时达到的效果的概率。

2.根据权利要求1所述的方法,其中,所述展现所述业务内容包括:在所述直播视频内容的播放界面上弹出浮窗,并且在所述浮窗中展现所述业务内容,或者

在所述直播视频内容的播放界面中展现所述业务内容。

3.根据权利要求1~2中任一项所述的方法,其中,所述展示信息还包括所述业务对象的位置信息或标识信息,

所述方法还包括:根据所述业务对象的位置信息或标识信息获取所述业务对象的图像数据。

4.根据权利要求3所述的方法,其中,所述方法还包括:根据所述业务对象的位置信息或标识信息获取与所述业务对象相关的业务内容链接。

5.根据权利要求1所述的方法,其中,所述展示信息还包括与所述业务对象相关的业务内容链接,

所述方法还包括:从所述展示信息获取所述与所述业务对象相关的业务内容链接。

6.根据权利要求3所述的方法,其中,所述业务对象的图像数据为帧序列,所述采用计算机绘图方式在所述视频图像中的绘制位置绘制所述业务对象包括:从所述图像数据获取与所述视频图像同步的帧数据,采用计算机绘图方式在所述绘制位置绘制所述帧数据。

7.根据权利要求1所述的方法,其中,所述获取直播视频内容的视频图像以及待绘制的业务对象的展示信息包括:

从所述直播视频内容的视频码流获取所述视频图像以及所述展示信息。

8.根据权利要求1所述的方法,其中,所述为绘制的所述业务对象设置所述业务内容链接包括:

根据所述业务对象占据的区域设置所述业务内容链接的链接触发区域。

9.根据权利要求1所述的方法,其中,所述业务对象为具有语义的特效或广告贴纸。

10.根据权利要求1所述的方法,其中,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效和粒子特效。

11.根据权利要求7所述的方法,其中,所述视频码流为基于H264标准的直播视频流,所述展示信息被携带在所述直播视频流的网络抽象层单元中。

12.一种视频图像处理装置,包括:数据获取单元,用于获取直播视频内容的视频图像以及待绘制的业务对象的展示信息,所述业务对象的展示信息包括所述业务对象在所述视频图像中的绘制位置的信息;

绘制单元,用于采用计算机绘图方式在所述视频图像中的绘制位置绘制所述业务对象,并且为绘制的所述业务对象设置业务内容链接;

操作检测单元,用于检测用户对在播放所述直播视频内容的界面上展现的所述业务对象的操作;

展现单元,用于响应于所述操作检测单元检测到的对展现的所述业务对象的操作,获取所述业务内容链接指向的业务内容,并且展现所述业务内容,其中,所述数据获取单元用于确定所述视频图像中业务对象的绘制位置;

其中,所述数据获取单元用于:

从所述视频图像确定目标对象的特征点,根据目标对象的特征点,使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型,确定所述业务对象在所述视频图像中的绘制位置,所述卷积网络模型基于业务对象样本图像训练得到,所述业务对象样本图像标注有所述业务对象的位置信息和置信度,所述置信度用于指示业务对象展示在当前位置时达到的效果的概率。

13.根据权利要求12所述的装置,其中,所述展现单元用于在所述直播视频内容的播放界面上弹出浮窗,并且在所述浮窗中展现所述业务内容,或者在所述直播视频内容的播放界面中展现所述业务内容。

14.根据权利要求12~13中任一项所述的装置,其中,所述展示信息还包括所述业务对象的位置信息或标识信息,

所述绘制单元还用于根据所述业务对象的位置信息或标识信息获取所述业务对象的图像数据。

15.根据权利要求14所述的装置,其中,所述绘制单元还用于根据所述业务对象的位置信息或标识信息获取与所述业务对象相关的业务内容链接。

16.根据权利要求12所述的装置,其中,所述展示信息还包括与所述业务对象相关的业务内容链接,

所述绘制单元还用于从所述展示信息获取所述与所述业务对象相关的业务内容链接。

17.根据权利要求14所述的装置,其中,所述业务对象的图像数据为帧序列,所述绘制单元用于从所述图像数据获取与所述视频图像同步的帧数据,并且采用计算机绘图方式在所述绘制位置绘制所述帧数据。

18.根据权利要求12所述的装置,其中,所述数据获取单元用于从所述直播视频内容的视频码流获取所述视频图像以及所述展示信息。

19.根据权利要求12所述的装置,其中,所述绘制单元用于根据所述业务对象占据的区域设置所述业务内容链接的链接触发区域。

20.根据权利要求12所述的装置,其中,所述业务对象为具有语义的特效或广告贴纸。

21.根据权利要求12所述的装置,其中,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效和粒子特效。

22.根据权利要求18所述的装置,其中,所述视频码流为基于H264标准的直播视频流,所述展示信息被携带在所述直播视频流的网络抽象层单元中。

23.一种终端设备,包括一个或多个处理器、存储器、通信接口和通信总线,所述一个或多个处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

所述存储器用于存放至少一计算机程序,所述计算程序使所述处理器执行如权利要求

1~11中任一项所述的视频图像处理方法对应的操作。