利索能及
我要发布
收藏
专利号: 2021104834375
申请人: 中南大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种视频编解码方法,其特征在于,包括以下步骤:S1、分别提取视频帧序列的3D特征和2D特征;

S2、对所述3D特征进行处理,获得关键特征;将所述关键特征与所述2D特征按时间序列叠加,构建融合特征;

S3、在时刻t对融合特征进行编码,通过softmax函数获得归一化权重,将融合特征与归一化权重相乘,获得新的融合特征;

S4、将新的融合特征输入到长短期记忆网络中,得到关于所述视频帧序列的描述句子;

步骤S2中,利用由多组N个柯西分布构成的行为滤波器KC与3D特征vt进行矩阵乘法运算,得到关键特征Sct。

2.根据权利要求1所述的视频编解码方法,其特征在于,步骤S1中,利用3D卷积神经网络提取所述视频帧序列的3D特征。

3.根据权利要求1所述的视频编解码方法,其特征在于,步骤S1中,利用2D卷积神经网络提取所述视频帧序列的2D特征。

4.根据权利要求3所述的视频编解码方法,其特征在于,所述2D卷积神经网络采用经过ImageNet预训练的Inception v3网络作为骨干网络。

5.根据权利要求1所述的视频编解码方法,其特征在于,所述视频帧序列获取方法为:从整段视频中采样固定数量的帧,构成所述视频帧序列。

6.一种视频编解码系统,其特征在于,包括:

第一提取单元,用于提取视频帧序列的3D特征;

第二提取单元,用于提取视频帧序列的2D特征;

第三提取单元,用于提取所述3D特征的关键信息;所述第三提取单元具体执行如下操作:利用由多组N个柯西分布构成的行为滤波器KC与3D特征vt进行矩阵乘法运算,得到关键特征Sct;

第一融合单元,用于将所述关键特征与所述2D特征按时间序列叠加,构建融合特征;

第二融合单元,用于在时刻t对融合特征进行编码,通过softmax函数获得归一化权重,将融合特征与归一化权重相乘,获得新的融合特征;

长短期记忆网络,用于在输入新的融合特征后,输出关于所述视频帧序列的描述句子。

7.根据权利要求6所述的系统,其特征在于,所述第一提取单元为3D卷积神经网络。

8.根据权利要求6所述的系统,其特征在于,第二提取单元为2D卷积神经网络。