1.一种基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述方法包括:获取待重建的低分辨率视频序列;
将所述待重建的低分辨率视频序列输入测试训练好的视频超分辨率重建网络模型;
根据所述视频超分辨率重建网络模型的输出,得到视频超分辨率重建结果,即高分辨率视频序列;
其中所述视频超分辨率重建网络模型包括时间分组模块、C3D浅层特征提取模块、D3D卷积组内融合模块、组间注意力机制模块和重建模块;
所述时间分组模块:用于对输入的低分辨率视频序列根据帧速率的不同进行分组得到N组视频子序列;
所述C3D浅层特征提取模块:用于对时间分组模块分组后的视频子序列进行初步的特征提取和时间对齐得到视频特征F,并送入D3D卷积组内融合模块;
所述D3D卷积组内融合模块,用于利用空间特征提取器对视频特征进行空间特征提取得到空间特征,然后利用5个卷积核为3×3×3的D3D卷积残差块对空间特征进行时空特征融合,得到融合特征,利用二维密集块将融合特征进行组内群体特征提取,生成组内群体特征所述组间注意力机制模块,用于对多个组内群体特征 进行时间注意力融合,生成注意力特征图Mn(x,y)j,并送入重建模块;
所述重建模块,用于对原始待重建的低分辨率视频序列进行双三次插值上采样生成原始视频残差图 将注意力特征图送入由六个级联的残差块和用于重建的亚像素卷积层,进行处理后生成相应的残差图Rt;将残差图Rt和原始视频残差图 进行相加,生成最终的高分辨率视频序列
2.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述视频超分辨率重建网络模型的训练方法包括:获取低分辨率视频序列数据集;
利用所述数据集对所述视频超分辨率重建网络模型进行训练、测试,得到测试训练好的视频超分辨率重建网络模型。
3.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述视频超分辨率重建网络模型训练过程中的损失函数L1(x)为:其中,x表示去权值和偏置参数的集合,i表示训练时的迭代次数,m表示训练视频帧的数量, 模型输出的高分辨率视频序列、 表示输入模型的低分辨率视频序列,F(.)表示生成高分辨率视频的预测值,||*||表示范数。
4.根据权利要求2所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述获取低分辨率视频序列数据集,包括:数据集采用标准的数据集,或自己采集构建;
如果采用标准的vid4和数据集进行训练和测试;数据集包含calendar、city、foliage、walk这四个场景视频帧序列,每个场景包含41、34、49、47帧视频图像,对高分辨率视频帧利用标准差σ=1.6的高斯模糊进行四倍下采样,从而生成对应的低分辨率视频帧。
5.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述时间分组模块的处理过程,包括:将相邻的2N帧根据到参考帧的时间距离划分为N个组,原始视频序列被重新排序为{G1,...Gn},n∈[i:N],其中 是由前一帧 参考帧 和后一帧 组成的子序列;其中L表示低分辨率视频序列的符号。
6.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述D3D卷积组内融合模块的构建方法,包括:所述D3D卷积组内融合模块包括空间特征提取器、D3D卷积层和二维密集块;
空间特征提取器每个单元由一个3×3卷积层、一个批量归一化BN层和Relu激活函数组成,以C3D浅层特征提取模块提取得到的视频特征F为输入,经过处理输出空间特征将空间特征 利用5个卷积核为3×3×3的D3D卷积残差块进行时空特征融合得到融合特征将融合特征 送入二维密集块,通过在二维密集块中应用18个二维单元,进行组内群体特征提取,从而生成组内群体特征
7.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述C3D浅层特征提取模块的处理过程,包括:
1)对输入的特征x进行三维卷积核采样得到采样值;
2)通过函数w对采样值进行加权求和;
通过膨胀系数为1的3×3×3卷积核传递的特征,用以下公式表示:其中,y(p0)表示生成的输出特征,输出特征中的一个位置可以用p0表示,pn表示在3×3×3卷积采样网络的第n个值,N表示迭代次数;
所述D3D卷积组内融合模块的D3D卷积残差块的处理过程,包括:其中,Δpn表示3×3×3卷积采样网络中第n个值对应的偏移量;偏移量通常是小数,所以具体更精确的值需要通过双线性插值来生成。
8.根据权利要求1所述的基于D3D卷积组内融合网络的视频超分辨率重建方法,其特征在于,所述组间注意力机制模块包括,用于对组内群体特征 应用一个3×3卷积层后计算出一个通道的特征映射图 生a成的特征映射图F1 、 被进一步连接,沿着时间轴的softmax函数被应用于每个位置,跨越通道,从而计算出时间注意特征图M(x,y);
将每个组的中间图连起来,并且通过沿时间轴的softmax函数,计算出注意特征图M(x,y);
对于每个组的注意加权特征 可以由以下公式计算:
其中,Mn(x,y)j表示时间注意掩码在(x,y)j位置的权重, 表示组内群体特征,⊙表示对应元素逐个相乘。
9.一种基于D3D卷积组内融合网络的视频超分辨率重建装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。