1.基于深度残差网络的视频序列丢失帧预测恢复方法,其特征在于,具体包括以下步骤:步骤S1,收集视频序列中预定数量的连续视频帧图像,选取视频中的某帧图像作为丢失帧,然后按照距离丢失帧的远近,将视频帧序列划分为当前组、近期组和远期组,构造数据集;
步骤S2,构造基于LSTM的深度残差网络结构;
步骤S3,根据步骤S1构造的数据集,构造基于LSTM的深度残差网络结构的训练数据集、验证数据集和测试数据集;
步骤S4,将步骤S3中的训练数据集送入步骤S2中构造的基于LSTM的深度残差网络结构中,进行网络训练,然后采用步骤S3中的验证数据集和测试数据集对训练所得的参数进行调整,逐步提高预测精度;
步骤S5,将经过步骤S4中网络训练、验证、测试后的基于LSTM的深度残差网络结构作为视频序列丢失帧的预测恢复模型,将位于丢失帧之前的视频帧图像,输入基于LSTM的深度残差网络中,经过模型对输入数据的自主学习,最终可得到该丢失帧的预测恢复图像;
所述步骤S2中基于LSTM的深度残差网络结构包括三个结构相同的深度残差子网络和一个输出融合模块,三个深度残差子网络分别用来处理数据集的当前组、近期组和远期组的视频帧图像;
所述输出融合模块采用一种基于参数的矩阵融合方法,公式如下:
其中 是三个深度残差子网络融合后的输出, 分别为当前
组、近期组和远期组子网络的输出,Wc、Wr、Wd是分别受到当前、近期、远期视频帧影响的可学习参数,表示Hadamard乘积运算,即两个矩阵中对应的元素相乘。
2.根据权利要求1所述的基于深度残差网络的视频序列丢失帧预测恢复方法,其特征在于,所述步骤S1中构造的数据集,从丢失帧的前一帧图像开始计算,当前组、近期组和远期组分别包含m帧、n帧、p帧图像,每三组视频帧作为一个样本,构造样本数为M的数据集。
3.根据权利要求1所述的基于深度残差网络的视频序列丢失帧预测恢复方法,其特征在于,所述深度残差子网络具有L+6层,前三层为卷积层,用来对视频帧图像进行特征提取;
中间L层为残差单元,前三层卷积层将提取的特征送入L个残差单元;最后三层为卷积层,用于进行反卷积处理,得到深度残差子网络的输出。
4.根据权利要求3所述的基于深度残差网络的视频序列丢失帧预测恢复方法,其特征在于,所述深度残差子网络的前三个卷积层分别为卷积层L1、卷积层L2、卷积层L3,三个卷积层后各跟有一个最大池化层,卷积层L1和卷积层L2均采用线性修正单元ReLU作为激活函数,其表达为f(x)=max(0,x);
所述深度残差子网络的最后三个卷积层分别为卷积层L4、卷积层L5、卷积层L6,卷积层L4与卷积层L3的卷积核完全一致,卷积层L5与卷积层L2的卷积核完全一致,卷积层L6与卷积层L1的卷积核完全一致。
5.根据权利要求1所述的基于深度残差网络的视频序列丢失帧预测恢复方法,其特征在于,所述步骤S3中,将数据集中的视频帧图像分为训练数据集、验证数据集和测试数据集三个数据集,分别用于基于LSTM的深度残差网络的训练、验证和测试。