1.一种面向超高清视频的压缩与重建联合优化方法,其特征在于,包括以下步骤:S1、建立以数学建模为基础的超高清视频压缩与重建之间的双向映射关系;
所述步骤S1包括以下步骤:
S11、对超高清视频的压缩过程进行建模,其公式为 其中,Io表示原始超高清视频,Ic表示压缩后的超高清视频,C代表压缩网络,c表示通过压缩网络得到Ic,网络主要由2部分组成:卷积核kc和下采样操作↓S;
S12、对超高清视频的重建过程进行建模,其公式为 其中,Ir表示重建超高清视频,R代表重建网络,r表示通过重建网络得到Ir,网络由2部分组成:卷积核kr和上采样操作↑S;
S13、对超高清视频压缩与重建过程的联合优化目标进行设定,其公式为其中, 和 是一组最优的网络训练参数;
S2、提取超高清视频时空视觉上的帧率和分辨率特征图,设计基于变换器Transformer的超高清视频时空特征图信息增强交互机制;
所述步骤S2包括以下步骤:
S21、将超高清视频送入变换器Transformer中,提取超高清视频时间视觉上的帧率特征图和空间视觉上的分辨率特征图;
S22、将帧率特征图和分辨率特征图进行纵向级联,融合时空特征图信息,为每个元素分配新的权值,其公式为 其中,x表示整合特征图中的原始元素,y表示交互特征图中加权后的元素,C(x)为归一化参数,g(·)为单点映射函数,其将一个点映射为一个向量,f(·)为相似度度量函数,xi表示帧率特征图的原始元素,xj表示分辨率特征图的原始元素;
S23、采用嵌入式高斯函数作为相似度度量函数,其公式为 其中,θ(·)和φ(·)同样为单点映射函数;
S3、构建基于时空特征图信息增强交互机制的超高清视频压缩与重建一体化框架;
步骤S3包括以下步骤:
S31、使用基本退化类型的模糊退化和噪声退化对原始超高清视频进行退化操作,得到低数据量监督视频;
S32、利用压缩网络分别从时间和空间两个维度对原始超高清视频进行特征映射,生成满足传输带宽约束条件的压缩后的超高清视频;
S33、利用重建网络分别从时间和空间两个维度重建出原始超高清视频的特征信息,得到重建后的超高清视频;
S34、在一体化框架训练过程中,利用步骤S31得到的低数据量监督视频对步骤S32生成的压缩后的超高清视频进行监督,同时利用原始超高清视频对重建超高清视频进行监督。