1.一种视频编解码方法,其特征在于,包括以下步骤:S1、分别提取视频帧序列的3D特征和2D特征;
S2、对所述3D特征进行处理,获得关键特征;将所述关键特征与所述2D特征按时间序列叠加,构建融合特征;
S3、在时刻t对融合特征进行编码,通过softmax函数获得归一化权重,将融合特征与归一化权重相乘,获得新的融合特征;
S4、将新的融合特征输入到长短期记忆网络中,得到关于所述视频帧序列的描述句子;
步骤S2中,利用由多组N个柯西分布构成的行为滤波器KC与3D特征vt进行矩阵乘法运算,得到关键特征Sct。
2.根据权利要求1所述的视频编解码方法,其特征在于,步骤S1中,利用3D卷积神经网络提取所述视频帧序列的3D特征。
3.根据权利要求1所述的视频编解码方法,其特征在于,步骤S1中,利用2D卷积神经网络提取所述视频帧序列的2D特征。
4.根据权利要求3所述的视频编解码方法,其特征在于,所述2D卷积神经网络采用经过ImageNet预训练的Inception v3网络作为骨干网络。
5.根据权利要求1所述的视频编解码方法,其特征在于,所述视频帧序列获取方法为:从整段视频中采样固定数量的帧,构成所述视频帧序列。
6.一种视频编解码系统,其特征在于,包括:
第一提取单元,用于提取视频帧序列的3D特征;
第二提取单元,用于提取视频帧序列的2D特征;
第三提取单元,用于提取所述3D特征的关键信息;所述第三提取单元具体执行如下操作:利用由多组N个柯西分布构成的行为滤波器KC与3D特征vt进行矩阵乘法运算,得到关键特征Sct;
第一融合单元,用于将所述关键特征与所述2D特征按时间序列叠加,构建融合特征;
第二融合单元,用于在时刻t对融合特征进行编码,通过softmax函数获得归一化权重,将融合特征与归一化权重相乘,获得新的融合特征;
长短期记忆网络,用于在输入新的融合特征后,输出关于所述视频帧序列的描述句子。
7.根据权利要求6所述的系统,其特征在于,所述第一提取单元为3D卷积神经网络。
8.根据权利要求6所述的系统,其特征在于,第二提取单元为2D卷积神经网络。