1.一种双分支注意力的立体视频压缩方法,其特征在于,包括:S1:将立体视频划分为左视频帧序列和右视频帧序列;
S2:将立体视频在t时刻的视频帧、其时间相邻重构帧和视图相邻重构帧输入DAN立体视频压缩器进行压缩得到t时刻的视频重构帧;其中,所述立体视频在t时刻的视频帧包括:t时刻的左视频帧和t时刻的右视频帧;t时刻的左视频帧的时间相邻重构帧为t‑1时刻的左视频重构帧,其视图相邻重构帧为t‑1时刻的右视频重构帧;t时刻的右视频帧的时间相邻重构帧为t‑1时刻的右视频重构帧,视图相邻重构帧为t‑1时刻的左视频重构帧;
所述DAN立体视频压缩器的重构过程包括:
S21:将t时刻的左视频帧 、t时刻的右视频帧 、t‑1时刻的右视频重构帧 和t‑
1时刻的左视频重构帧 输入特征提取模块进行特征提取得到对应的特征 、特征 、特征 和特征 ;
S22:将特征 和特征 输入运动估计模块计算运动信息 、以及将特征 和特征输入运动估计模块计算运动信息 ;
S23:将运动信息 和 分别输入基于LGEDB的编解码模块提取局部非重复复杂区域纹理特征和全局信息得到运动重构信息 和 ;
S24:根据运动重构信息 利用运动补偿模块对特征 进行运动补偿得到特征 、以及根据运动重构信息 利用运动补偿模块对特征 进行运动补偿得到特征 ;
S25:根据特征 和特征 利用视差估计模块计算视差信息 、以及根据特征 和特征 利用视差估计模块计算视差信息 ;
S26:将视差信息 和 分别输入基于LGEDB的编解码模块提取局部非重复复杂区域纹理特征和全局信息得到视差重构信息 和 ;
S27:根据视差重构信息 利用视差补偿模块对特征 进行视差补偿得到特征 ,根据视差重构信息 利用视差补偿模块对特征 进行视差补偿得到特征 ;
S28:将特征 和特征 输入双分支高频信息融合模块进行特征融合得到预测特征,将特征 和特征 输入双分支高频信息融合模块进行特征融合得到预测特征 ;
S29:将特征 减去特征 得到残差信息 ,将特征 减去特征 得到残差信息;将残差信息 和残差信息 分别输入基于LGEDB的编解码模块提取局部非重复复杂区域纹理特征和全局信息得到残差重构信息 和 ;将残差重构信息 和预测特征 进行特征相加得到重构特征 ,将残差重构信息 和预测特征 进行特征相加得到重构特征;将重构特征 输入图像重构模块得到t时刻的右视频重构帧 ;将重构特征 输入图像重构模块得到t时刻的左视频重构帧 ;
所述DAN立体视频压缩器包括:特征提取模块、运动估计模块、视差估计模块、基于LGEDB的编解码模块、运动补偿模块、视差补偿模块、双分支高频信息融合模块和图像重构模块;
所述基于LGEDB的编解码模块包括:编码器、瓶颈层和解码器;所述编码器包括N个卷积模块、以及串联在任意两个相邻的卷积模块之间的LGEDB模块;所述解码器包括N个反卷积模块、以及串联在任意两个相邻的反卷积模块之间的LGEDB模块;
所述编码器用于对基于LGEDB的编解码模块的输入特征进行编码,瓶颈层用于对编码器的编码特征进行映射,所述解码器用于对瓶颈层的映射特征进行解码得到基于LGEDB的编解码模块的输出特征;
所述LGEDB模块包括:LWAB模块、GCAB模块、卷积层、M个级联的残差模块;所述LGEDB模块的特征提取过程包括:S211:将LGEDB模块的输入特征F分别输入LWAB模块和GCAB模块进行特征提取得到特征和特征 ;
S212:将特征 和特征 进行拼接后依次输入卷积层和M个级联的残差模块进行特征处理得到特征f;
S213:将特征f和输入特征F进行特征相加得到LGEDB模块的输出特征 ;
所述双分支高频信息融合模块的特征融合过程包括:
其中, , , 代表NAF模块,
代表可逆神经网络; 表示残差模块;
S3:将t时刻的左视频重构帧和t时刻的右视频重构帧进行存储得到压缩后的立体视频。
2.根据权利要求1所述的一种双分支注意力的立体视频压缩方法,其特征在于,针对左视频帧序列和右视频帧序列中的第一帧视频帧采用图像压缩的方法得到对应的左视频重构帧和右视频重构帧。
3.根据权利要求1所述的一种双分支注意力的立体视频压缩方法,其特征在于,所述LWAB模块的特征提取过程如下:给定输入特征 ,H表示输入特征F的高,W表示输入特征F的宽,C表示输入特征F的通道数,先将输入特征划分为 大小的不重叠块,即 , ,表示划分的块数;通过一个线形层将 沿通道方向等分为多个头,生成查询 、键 和值 矩阵, , 为每个头分到的通道数, , 为头的数量,生成公式为:
其中, 分别代表第k个块中第s个头的线性投影矩阵;计算第 个块中第s个头的特征相似性 :
其中,E是相对位置编码;因为有 个头,因此并行执行 次自注意力计算,然后将每个头计算得到的注意力特征 从通道维度上进行拼接得到特征 ,再将特征 与相加得到第k个块的自注意力特征 :最后将每个块的自注意力特征拼接回原来的位置得到LWAB的输出特征 :其中, 表示位置拼接。
4.根据权利要求1所述的一种双分支注意力的立体视频压缩方法,其特征在于,所述GCAB模块的特征提取过程如下:给定输入特征 ,H表示输入特征F的高,W表示输入特征F的宽,C表示输入特征F的通道数,其计算过程为:其中, 代表 的标准卷积操作, 代表 的标准卷积操作,
代表 激活函数, 代表 激活函数; 表示平均池化操作。
5.根据权利要求1所述的一种双分支注意力的立体视频压缩方法,其特征在于,所述瓶颈层对编码器的编码特征进行映射包括:其中, 表示编码器编码后的编码特征, 、 和 分别表示均值、方差和潜在空间残差; 为量化过程; 表示通道自回归熵模型; 代表算数编码过程,代表算术解码过程。
6.根据权利要求1所述的一种双分支注意力的立体视频压缩方法,其特征在于,所述DAN立体视频压缩器训练时采用的损失函数包括:其中, 表示损失函数, 为失真损失, 表示视图 在时间 时的视频帧; 表示视图 在时间 时的视频重构帧, 表示压缩过程中编码器的编码特征的比特率。