1.一种基于高频特征增强的神经表示视频编码方法,其特征在于,包括:
S1,对需要进行编码的视频进行预处理操作,获得预处理后的包括视频帧的数据集;
S2,构建基于高频特征增强的神经表示网络,神经表示网络包括内容编码器、小波高频编码器和频率感知解码器;其中,频率感知解码器包括用于特征尺寸上采样的谐波块和用于特征调制融合的高频特征调制层;
S3,将数据集输入构建的基于高频特征增强的神经表示网络进行训练,使用内容编码器对视频帧进行下采样,得到内容特征嵌入;利用小波高频编码器中的小波频率分解块对视频帧的高频信息进行提取,得到高频特征嵌入;
S4,将内容特征嵌入和高频特征嵌入输入频率感知解码器,利用频率感知解码器中的高频特征调制层进行特征融合,然后经过频率感知解码器中的谐波块进行空间尺寸上采样,得到重建的视频帧;
S5,计算重建的视频帧与原始视频帧之间的重建损失,通过Adan优化器对神经表示网络进行端到端优化,重复上述步骤S3‑S5直至满足预设训练轮次;
S6,停止优化神经表示网络,保存训练好的神经表示网络的权重和特征嵌入;
S7,对神经表示网络进行剪枝、量化、熵编码操作后压缩为视频比特流;
S8,解码时,加载保存的神经表示网络的权重,将特征嵌入输入到解码器中进行前向计算,得到重建的视频帧。
2.根据权利要求1所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,对视频帧进行编码和解码时,额外提取和利用当前的视频帧的高频特征对编码过程进行增强。
3.根据权利要求1所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,内容编码器包括依次连接的第一内容编码阶段、第二内容编码阶段、第三内容编码阶段、第四内容编码阶段和第五内容编码阶段,其中第一内容编码阶段包括依次连接的第一跨步卷积层、第一层归一化层、第一ConvNeXt块;
第二内容编码阶段包括依次连接的第二跨步卷积层和第二ConvNeXt块;
第三内容编码阶段包括依次连接的第三跨步卷积层和第三ConvNeXt块;
第四内容编码阶段包括依次连接的第四跨步卷积层和第四ConvNeXt块;
第五内容编码阶段包括依次连接的第五跨步卷积层和第五ConvNeXt块;
其中每个ConvNeXt块包括依次连接的深度可分离卷积层、层归一化层、第一全连接层、Gelu激活层和第二全连接层构成。
4.根据权利要求1所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,构建的基于高频特征增强的神经表示网络包括小波高频编码器、内容编码器和解码器;
其中,小波高频编码器包括依次连接的第一高频编码阶段、第二高频编码阶段、第三高频编码阶段、第四高频编码阶段和第五高频编码阶段,其中第一高频编码阶段包括第六跨步卷积层、第六层归一化层和第六ConvNeXt块;
第二高频编码层包括第一哈尔小波频率分解块、第七跨步卷积层和第七ConvNeXt块,第一哈尔小波频率分解块的输入端连接第六ConvNeXt块的输出端,第一哈尔小波频率分解块的输出端连接第七跨步卷积层;
第三高频编码层包括第二哈尔小波频率分解块、第八跨步卷积层和第八ConvNeXt块,第二哈尔小波频率分解块的输入端连接第七ConvNeXt块的输出端,第二哈尔小波频率分解块的输出端连接第八跨步卷积层,第一哈尔小波频率分解块的输出端连接第二哈尔小波频率分解块的输入端;
第四高频编码层包括第三哈尔小波频率分解块、第九跨步卷积层和第九ConvNeXt块,第三哈尔小波频率分解块的输入端连接第八ConvNeXt块的输出端,第三哈尔小波频率分解块的输出端连接第九跨步卷积层,第二哈尔小波频率分解块的输出端连接第三哈尔小波频率分解块的输入端;
第五高频编码层包括第四哈尔小波频率分解块、第十跨步卷积层和第十ConvNeXt块,第四哈尔小波频率分解块的输入端连接第九ConvNeXt块的输出端,第四哈尔小波频率分解块的输出端连接第十跨步卷积层,第三哈尔小波频率分解块的输出端连接第四哈尔小波频率分解块的输入端。
5.根据权利要求1所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,解码器包括多个解码阶段,每个解码阶段均包括谐波块和高频特征调制层。
6.根据权利要求5所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,高频特征调制层通过逐点卷积层、Gelu激活函数和特征调制操作实现高频与内容特征嵌入的深度融合,从而在重建视频过程中保留视频帧的细节和纹理;谐波块包括依次连接的卷积层、像素混洗层和自适应谐波激活函数,用于在进行空间上采样的同时引入周期性偏差。
7.根据权利要求1所述的一种基于高频特征增强的神经表示视频编码方法,其特征在于,采用频率损失函数优化高频细节:a)重建和原视频帧进行傅里叶变换;b)计算频域差异并动态加权,突出高频细节;c)结合频域和空间域损失优化神经网络,提高细节表现。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。